neozest : neo+zest

 "한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

한빛미디어에서 운영중인 리뷰어 프로그램을 통해 읽게된 책이다. 평소 AI를 업무에 활용하고 있고, 이와 관련된 코드를 직접 작성해서 사용하기도 한다. 사용하면서 큰 불만은 없었지만, 한편으로는 '프롬프트 엔지니어링', '컨텍스트 엔지니어링' 같은 용어들이 계속 등장하는 것이 마음에 걸렸다. 본질적으로 무엇이 다른 것인지, 또 하나의 마케팅용 유행어인지가 궁금했다. 그 의문에서 이 책을 펼쳤다.

이 책에서 프롬프트 엔지니어링은 AI에게 질문을 잘하는 법이고, 컨텍스트 엔지니어링은 AI에게 풍부한 자료를 쥐여주는 법이라 설명한다. 나는 컨텍스트 엔지니어링이란 특별한 기술이라기 보다는 AI를 이용하여 원하는 결과를 얻어내기 위한 접근 방식으로 진일보한 것으로 이해하게 되었다. 이전에는 컨텍스트를 정보를 검색하기 위한 참고 자료처럼 생각했는데, 책을 읽은 이후에는 검색, 메모리, 도구 호출, 상태 관리 등 LLM 모델이 활용할 수 있는 맥락 전체를 기술적인 이해를 바탕으로 설계하는 접근 방식으로 바라보게 되었다.

이 관점에서 보면  컨텍스트 엔지니어링은 나의 업무 데이터를 완벽히 이해하는 전문가 동료, 즉 에이전트를 만들기 위한 구조로 이어진다. 에이전트가 단발성 응답을 넘어 자율적으로 동작하려면 지속적으로 상태를 유지하고, 외부 데이터를 검색하고, 필요하면 도구도 호출하고, 그 결과를 응축해서 다시 정리하는 흐름이 필요하다. 책은 AI를 단순한 LLM 호출, 즉 상태없는 함수로 사용할 것이 아니라 상태를 가진 객체를 사용하는 것으로 진화시켜야 한다고 이야기한다. 

최근 나오는 LLM 모델들의 컨텍스트 윈도우가 함께 확장되었지만, 단순히 많은 정보를 넣는다고 해서 결과가 좋아지지는 않는다.  책에서는 컨텍스트 윈도우가 여전히 한정된 자원임을 분명히 한다. 불필요한 정보가 섞이면 오히려 판단이 흐려지면서 비용과 응답 지연도 발생한다. 결국 중요한 것은 양적 확장이 아니라 질을 높이는 설계다. 결국 컨텍스트 엔지니어링은 정보를 쥐여주는 것이 아니라 적절한 정보를 선택하고 이를 압축하여 알맹이만 전달하는 기술이어야 한다는 생각이 들었다.

이 책은 크게  4부로 구성된다.

1부: 컨텍스트의 개념과 컨텍스트 엔지니어링의 핵심 요소

2부: 기본 에이전트 구현

3부: 더 발전된 에이전트의 구조와 설계

4부: 에이전트 디버깅 및 평가, 지속적인 개선방법

2부와 3부에서는 LangChain을 기반으로 실제 에이전트를 파이썬으로 구현한다. 코드 자체는 읽기 수월한 편이다. LangChain 프레임워크가 워낙 워크 플로와 객체를 잘 추상화해두었기 때문에 책 내용을 코드로 이해하는데 어렵지 않다.다만 혹시나 LangChain이 익숙하지 않다면 부록B를 먼저 읽고 본 내용을 보는 것이 이해에 도움이 될 것이다.

특히 재미있게 읽은 부분은 9장에서 설명하는 컨텍스트 합성기이다. 어떤 맥락을 어떻게 조합하여 모델에 전달하는 구조를 만들 것인지를 다룬다. 이 부분을 읽으면서 최근 등장한 여러 에이전트간 상호 작용 개념(A2A 등)이 왜 필요해졌는지 자연스럽게 연결되어 이해되었다.

디버깅을 다룬 4부의 내용도 실무적으로 유용하다. 에이전트가 오작동할 때 막연히 LLM의 문제라고 보기보다는 판단(LLM)의 문제인지, 감지(검색/RAG)의 문제인지, 기억(memory)의 문제인지를 구분하여 접근한다. 이 프레임이 현업에서도 도움이 될 것 같다. 다만 책이 컨텍스트 엔지니어링을 다루는 책이므로 LangSmith 도구와 관련 컬럼만 소개할 뿐 자세히 다루지는 않는다. 이 부분은 따로 살펴봐야겠다.

이 책은 에이전트를 처음 만들어 보려는 개발자 뿐만 아니라 이미 구축된 RAG 시스템이나 내부 업무용 AI 도구를 개발한 사람들에게 도움이 있다. 단순 구현을 넘어 어떤 식으로 개선할 것인지를 다루고 있다. 개발업무에 적용하는 에어전트, CRM/CS업무에 활용할 수 있는 에이전트, 학습을 돕거나 학습하는 에이전트(법률/의료/교육/창작)를 만들고 이를 개선시키는 과정 속에서 저자가 고민해 온 에이전트의 설계 구조와 개선 방향을 엿볼 수 있었다. 나도 지금 만들고 있는 에이전트가 하나 있었는데, 여기에 책에서 언급된 고민들을 적용해 볼 생각이다.

사내 프로세스 혁신 도구로서의 가능성을 점검해 보다.

1/ 꽤 오래전(이래봤자 올해 초였을 것 같은데) 지인들 모임에서 Dify.AI 에 대한 이야기를 나눴다. 당시만 해도 '디파이'라고 하면 탈중앙화 금융을 일컫는 DeFi가 먼저 떠오르던 시절이다. 지금도 크게 다르지 않다. 이런 현실 속에서도 LLM이 현업 프로세스 혁신의 영역으로 점점 가까이 다가오면서 드디어 우리나라에서도 Dify를 다루는 책이 나왔다. 나 역시 슬쩍슬쩍 곁눈질하던 터라, 이번 기회에 책을 읽으면서 Dify의 지향점과 현재 상태를 점검해 보고 싶었다.

2/ <Dify AI, 코드 없는 미래>는 번역서가 아니라 국내 엔지니어가 집필한 책이다. 국내에서 Dify에 관한 책을 누가 적을 수 있을까 했는데, 김정욱 저자님은 태디노트님과 함께 국내 AI 도입의 최전선에서 활동하시는 분이었다. 일단 브레인크루 멤버라는데서 +1.

3/ Dify는 대화형 AI 애플리케이션과 AI Agent를 손쉽게 만들 수 있도록 설계된 노코드 플랫폼이다. 정의야 어떻게 되었든 나의 관심사는 명확하다. AI를 이용하여 사내 프로세스를 개선하는, 이른바 PI(Process Innovation)활동에 이 도구를 적용할 수 있는가 하는 점이다. 

이 책은 다음과 같이 구성되어 있다.

1장: LLM/AI에 대한 일반적인  이해

2장: LLM에서 원하는 결과를 도출하기 위한 프롬프트 작성법

3장: 정보의 정확성을 올리기 위한 RAG 시스템

4장: 궁극적으로 우리가 원하는 에이전트의 가능성 옅보기

5장: 실제 워크플로 개선에 사용할 수 있는지 여부 살펴보기

6장:  이전 내용을 종합한 실습 프로젝트를

Dify가 뭔지, 어떤 작업을 수행할 수 있는지 이해도를 높이기에 충분한 구성이다.

4/ 기술 격동의 시절이다. 어떤 도구를 선택하는지가 이른바 엔지니어의 몸값에도 영향을 준다. Dify... 이 책을 읽으면서 다뤄본 Dify는 아직은 아쉬움이 많이 남는 플랫폼이다. 코드를 작성할 수 있는 개발자라면 n8n이 더 유용하고, 코드와 거리가 먼 사용자라면 사용자라면 구글의 Opal 서비스나 Agentspace같은 서비스가 더 와닿지 않을까 싶다. 결국 Dify가 강점을 가질 수 있는 부분은 구매냐 구축이냐(Buy vs Build)의 고민에서 구축을 선택했을 때 제시할 수 있는 대안이라는 점이다.

5/ 사내에서 이미 n8n을 활용하고 있는데, Dify도 사용할 수 있게 호스팅해달라고 요청했다. 클라우드 서비스에 가입해서 잠깐 사용해 보긴 했지만,  사내에 직접 구축해서 충분히 사용해 봐야 정확한 판단을 내릴 수 있을 것 같다. Opal의 최대 단점은 기업 환경에서 사내 시스템과의 연동이 힘들다는 것인데, Dify는 Opal과 같은 시스템을 사내에 구축하고, 이를 MCP를 통해 다른 사내 시스템과 연동할 수 있겠다는 가능성이 보인다. 다만 관건은 얼마나 사용자들이 부담스럽지 않게 접근할 것인가인데, 결국 이 작업을 LLM의 도움을 받아 코드를 작성하지 않고도 수행할 수 있느냐가 핵심이 될 것이다.

6/ Dify. 비전은 훌륭하고 빠른 속도로 진화하고 있지만, 갈 길이 멀어 보인다. 하지만 어떠하랴. 오픈소스의 비전이라는게 원래부터 그런것 아니었나. AI 서비스, 특히 사내 서비스 도입/구축을 고민하시는 분들이 읽으면 도움이 되는 내용이 많다.