neozest : neo+zest

사내 프로세스 혁신 도구로서의 가능성을 점검해 보다.

1/ 꽤 오래전(이래봤자 올해 초였을 것 같은데) 지인들 모임에서 Dify.AI 에 대한 이야기를 나눴다. 당시만 해도 '디파이'라고 하면 탈중앙화 금융을 일컫는 DeFi가 먼저 떠오르던 시절이다. 지금도 크게 다르지 않다. 이런 현실 속에서도 LLM이 현업 프로세스 혁신의 영역으로 점점 가까이 다가오면서 드디어 우리나라에서도 Dify를 다루는 책이 나왔다. 나 역시 슬쩍슬쩍 곁눈질하던 터라, 이번 기회에 책을 읽으면서 Dify의 지향점과 현재 상태를 점검해 보고 싶었다.

2/ <Dify AI, 코드 없는 미래>는 번역서가 아니라 국내 엔지니어가 집필한 책이다. 국내에서 Dify에 관한 책을 누가 적을 수 있을까 했는데, 김정욱 저자님은 태디노트님과 함께 국내 AI 도입의 최전선에서 활동하시는 분이었다. 일단 브레인크루 멤버라는데서 +1.

3/ Dify는 대화형 AI 애플리케이션과 AI Agent를 손쉽게 만들 수 있도록 설계된 노코드 플랫폼이다. 정의야 어떻게 되었든 나의 관심사는 명확하다. AI를 이용하여 사내 프로세스를 개선하는, 이른바 PI(Process Innovation)활동에 이 도구를 적용할 수 있는가 하는 점이다. 

이 책은 다음과 같이 구성되어 있다.

1장: LLM/AI에 대한 일반적인  이해

2장: LLM에서 원하는 결과를 도출하기 위한 프롬프트 작성법

3장: 정보의 정확성을 올리기 위한 RAG 시스템

4장: 궁극적으로 우리가 원하는 에이전트의 가능성 옅보기

5장: 실제 워크플로 개선에 사용할 수 있는지 여부 살펴보기

6장:  이전 내용을 종합한 실습 프로젝트를

Dify가 뭔지, 어떤 작업을 수행할 수 있는지 이해도를 높이기에 충분한 구성이다.

4/ 기술 격동의 시절이다. 어떤 도구를 선택하는지가 이른바 엔지니어의 몸값에도 영향을 준다. Dify... 이 책을 읽으면서 다뤄본 Dify는 아직은 아쉬움이 많이 남는 플랫폼이다. 코드를 작성할 수 있는 개발자라면 n8n이 더 유용하고, 코드와 거리가 먼 사용자라면 사용자라면 구글의 Opal 서비스나 Agentspace같은 서비스가 더 와닿지 않을까 싶다. 결국 Dify가 강점을 가질 수 있는 부분은 구매냐 구축이냐(Buy vs Build)의 고민에서 구축을 선택했을 때 제시할 수 있는 대안이라는 점이다.

5/ 사내에서 이미 n8n을 활용하고 있는데, Dify도 사용할 수 있게 호스팅해달라고 요청했다. 클라우드 서비스에 가입해서 잠깐 사용해 보긴 했지만,  사내에 직접 구축해서 충분히 사용해 봐야 정확한 판단을 내릴 수 있을 것 같다. Opal의 최대 단점은 기업 환경에서 사내 시스템과의 연동이 힘들다는 것인데, Dify는 Opal과 같은 시스템을 사내에 구축하고, 이를 MCP를 통해 다른 사내 시스템과 연동할 수 있겠다는 가능성이 보인다. 다만 관건은 얼마나 사용자들이 부담스럽지 않게 접근할 것인가인데, 결국 이 작업을 LLM의 도움을 받아 코드를 작성하지 않고도 수행할 수 있느냐가 핵심이 될 것이다.

6/ Dify. 비전은 훌륭하고 빠른 속도로 진화하고 있지만, 갈 길이 멀어 보인다. 하지만 어떠하랴. 오픈소스의 비전이라는게 원래부터 그런것 아니었나. AI 서비스, 특히 사내 서비스 도입/구축을 고민하시는 분들이 읽으면 도움이 되는 내용이 많다.

평소라면 굳이 찍어먹지 않아도 척 보면 알 수 있는 것도 있지만, 개발자에게는 뭔가 블랙박스를 열어보고 싶은 본능이라는게 있는 것 같다. 요즘같은 大 AI 시대에, "LLM은 어떻게 돌아가는 거야?"라는 질문에 "그냥 마법이야. API만 쓰면 되지"라고 대답할 수는 없는 노릇이다. 호기심으로 인해 직접 만들어보고, 운영하다가 망가지기도 하고, 그걸 고치면서 다시 깨달음을 얻고.. 이 과정을 반복한 것이 개발자의 인생 아니었나. 그래서 LLM의 이해를 돕기 위해 살펴본 책이 <밑바닥부터 만들면서 배우는 LLM>(세바스찬 라시카 지음, 박해선님 번역, 길벗 출간)이다.

책은 실제로는 거의 600쪽 가까운데, 부록이 100여 정도 되고, 워크북도 120여쪽 정도 된다. 그래서 본책은 300쪽 남짓이라 보면 된다. (300쪽으로 LLM 동작원리를 압축해서 설명한다.이해하려면 머리속으로 압축을 풀어야 한다) 파이썬 기본 문법만 알면 그럭저럭 따라가면서 만들어 볼 수 있다. 책은 3단계로 나눠서 LLM을 만든다. 1단계에서는 데이터를 준비하고, 어텐션 알고리즘을 구현하면서 LLM의 기본 골격을 만든다. 그런 다음 트레이닝 과정을 반복하고, 모델을 평가하면서 파운데이션 모델을 만든다. 사전 훈련된 가중치 값을 불러오고 미세튜닝까지 진행하는 것이 2단계다. 3단계는 활용인데, 미세 튜닝을 통해 분류기와 개인 비서로 활용하는 방법을 맛본다. 이 책의 장점 중 하나는 전체 로드맵을 두고 각 장마다 이번엔 어떤 부분을 만들것인지를 먼저 인식한 상태에서 설명을 이어간다는 점이다. 전체 과정중 현재 어디까지 왔는지를 이해하면서 책을 읽을 수 있다. 잘 구성된 책이다.

이 책에서 만드는 LLM은 요즘 일상에서 사용하는 최신 AI(LLM 모델)이 아니다. 요즘은 사고에 추론까지 갖추기 위해 다양한 시도를 하지만 이 책은 텍스트 토큰나이징부터 시작하여 어텐션 매커니즘을 구현해 보고, LoRA 기반으로 미세조정까지 진행한다. 어찌보면 AI 바닥에 계신 분들에게는 이전 세대의 기술처럼 인식될 수도 있겠다. 하지만 나처럼 LLM을 활용하기 위해 고민하는 사람들에게는 이 블랙박스같은 LLM의 동작원리를 이해하는 것이 하나의 과제가 되는데, 초기(?) 버전의 기술을 살펴보는 것이 오히려 개념이 간결하고 복잡하지 않아서 이해하는데 도움이 되는 경우가 많다. 물론 동작 원리를 이해하고 나면 응용 개발자 입장에서는 다시 동작원리를 잊어버리고 활용을 하겠지만, 그래도 한번의 이해가 큰 도움이 되는 상황이 많다. 디버깅, 최적화, 트러블슈팅할 때   HTTP 프로토콜을 보지 않고 REST API만 호출하는 개발자와 HTTP 프로토콜을 이해하면서 REST API를 호출하는 개발자 사이에서 볼 수 있는 내공의 차이가 이런 호기심 때문은 아닐까 생각한다. 번역서인 까닭에 한글은 어떻게 처리해야 할지는 빠져있지만, 원리는 이해된다.

<밑바닥부터 만들면서 배우는 LLM>책을 읽기 시작한지는 좀 되었다. 추석 연휴를 이용해서 읽겠다는 계획을 세웠다. 그런데 처음 읽기 시도에서는 완독에 실패했다. 책을 읽다가 모르는 용어가 나오면 열심히 AI와 씨름하며 개념을 복습도 하고, 새로운 개념을 익히기도 했다. 그러다 보니 너무 곁길로 새어버렸다. LLM은 역시 어렵군하면서 잠시 우울해 하다가 그냥 잘 이해되지 않더라도 쭉~ 책을 따라하면서 일독을 했더니 저자가 설계한 내용이 조금 더 이해가 되었다.이런 이해를 바탕으로 다시한번 읽는 중이다. 완전히 이해하려면 몇 번을 더 읽어봐야할지 모르겠지만 여러번 읽으면서 이해의 해상도를 높여야 하는, 보기드문 핸즈온 LLM 책이라 생각한다. LLM의 작동 원리가 궁금한, "AI(OpenAI나 Vertex) API 호출만 할 줄 아는 개발자"에서 벗어나 원리를 이해하고 제대로 활용해 보고 싶은 개발자라면 이 책이 유용할 것이라 생각한다.

혼자 완독하기는 힘든 책이다. 인프런에서 진행되는 완독 챌린지 강의에 참여(이미 모집이 완료되었다.)하거나 역자인 박해선님의 유튜브 채널의 도움을 받는 것이 좋겠다.