AI 에이전트 만들기 — 프레임워크 과대광고 대신 7가지 핵심 빌딩블록

핵심 메시지

• 효과적인 AI 에이전트는 사실 그리 '에이전트적'이지 않다 — 대부분 결정론적 코드에 전략적으로 LLM 호출을 끼워 넣은 소프트웨어다.
• 온라인에 넘치는 프레임워크·도구의 99%는 결국 모델 제공자 API 위의 추상화일 뿐이며, API와 직접 일하면 대부분을 무시해도 된다.
• LLM 호출은 가장 비싸고 위험한 연산이므로, 결정론적 코드로 풀 수 없을 때만 사용해야 한다.
• 신뢰할 수 있는 에이전트는 지능 레이어·메모리·도구·검증·제어·복구·피드백이라는 7가지 빌딩블록의 조합으로 만들어진다.
• 큰 문제를 작은 하위 문제로 쪼개고, 각 조각을 적절한 빌딩블록으로 해결하되 LLM은 꼭 필요한 지점에만 배치하는 것이 핵심이다.

쉽게 이해하기

AI 분야의 변화 속도 탓에 개발자들은 랭체인과 라마인덱스 사이에서 고민하고, 매주 쏟아지는 새 도구에 압도된다. 하지만 영상은 이 소음의 99%를 무시해도 된다고 말한다. 화려한 프레임워크와 도구 대부분은 결국 산업을 주도하는 LLM 제공자 API 위의 추상화이며, 함수 호출(function calling)이 도입된 이후 LLM을 다루는 근본 방식은 사실상 바뀌지 않았다. 모델 엔드포인트만 갈아끼우면 2년 전 코드도 그대로 돌아간다.

핵심 통찰은 가장 효과적인 에이전트가 실제로는 결정론적 소프트웨어에 가깝다는 점이다. LLM에 도구를 잔뜩 쥐여 주고 알아서 풀게 하는 대신, 문제를 구성 요소로 분해해 소프트웨어 엔지니어링으로 해결하고, 결정론적 코드로 도저히 풀 수 없는 지점에만 LLM 호출을 넣는다. 특히 사람이 개입하는 챗GPT·커서 같은 어시스턴트와 달리, 백그라운드 자동화 시스템에서는 도구 호출과 LLM 호출 수를 최대한 줄이는 것이 안정성에 유리하다.

첫 번째 빌딩블록은 '지능 레이어'다. 사용자 입력을 LLM에 보내고 응답을 받는, 유일하게 진짜 AI인 부분이다. 두 번째 '메모리'는 문맥 지속성을 담당한다. LLM은 상태가 없어 이전 대화를 기억하지 못하므로, 매번 대화 기록을 직접 넘겨야 한다. 세 번째 '도구'는 API 호출이나 DB 갱신, 파일 읽기처럼 외부 시스템과 연결하는 능력으로, 주요 모델 제공자가 모두 기본 지원한다.

네 번째 '검증'은 영상이 가장 중요하다고 강조하는 블록이다. LLM은 확률적이라 출력이 들쭉날쭉하므로, 정해진 JSON 스키마에 맞는지 검사하고 실패하면 오류를 되돌려 고치게 한다. 이것이 '구조화 출력(structured output)'이며 Pydantic 같은 라이브러리로 구현한다. 다섯 번째 '제어'는 if/else와 라우팅 같은 일반 비즈니스 로직으로, LLM이 분류한 의도(질문·요청·불만 등)에 따라 흐름을 분기시켜 워크플로를 모듈화한다.

여섯 번째 '복구'는 프로덕션에서 반드시 생기는 장애(API 다운, 속도 제한, 엉뚱한 응답)에 대비한 try/except·백오프 재시도·폴백 처리다. 일곱 번째 '피드백'은 사람의 검토를 거치는 단계로, 민감한 이메일 발송이나 결제처럼 완전 자동화하기에 너무 중요한 작업 앞에 '완전 정지' 지점을 두고 승인·거부를 받는다. 결국 큰 문제를 작은 문제로 쪼개고 각 조각을 이 일곱 블록으로 풀되, LLM은 절대 피할 수 없을 때만 쓰는 것이 신뢰할 수 있는 에이전트의 비결이다.

주요 인사이트

• '에이전트를 더 에이전트답게'가 아니라 '대부분 결정론적 코드 + 꼭 필요한 곳의 LLM 호출'이 프로덕션에 도달하는 팀들의 공통 패턴이다.
• 프레임워크는 '모래 위의 집'이 될 수 있다 — 모델 API와 직접 일하면 프레임워크 교체 위험에서 벗어나 코드 수명이 길어진다.
• 검증과 구조화 출력은 단순한 편의가 아니라, LLM의 확률적 출력 위에 신뢰할 수 있는 시스템을 쌓기 위한 토대다.
• 도구 호출 대신 '분류 + 이유 기록 + if/else 라우팅'을 쓰면, 왜 그런 결정을 내렸는지 로그가 남아 디버깅이 훨씬 쉬워진다.
• 80%만 맞고 20%는 실패하는 영역에서는 프롬프트를 끝없이 다듬기보다 사람을 루프에 넣는 편이 안전한 출시 방법이다.

자주 묻는 질문

관련 AI 소식