AI 에이전트 작동 원리: ReAct 루프, 도구 호출, 메모리와 실패 모드 정리

핵심 메시지

• AI 에이전트는 새로운 모델이 아니라, 기존 LLM 주위에 두른 '스캐폴딩(구조)'의 차이다.
• 에이전트의 본질은 '도구를 든 LLM이 반복 루프를 도는 것' — 인지, 추론, 행동, 관찰을 반복한다.
• 모델은 텍스트만 출력하며, 실제 실행은 개발자가 짠 오케스트레이션 코드가 구조화된 JSON 요청을 받아 수행한다.
• 작업 기억은 컨텍스트 윈도로 제한되며, 장기 기억은 임베딩과 벡터 검색 같은 외부 시스템이 필요하다.
• 에이전트는 예측 가능한 방식으로 실패하므로, 6가지 실패 모드를 미리 알고 설계해야 한다.

쉽게 이해하기

영상은 사람이 키보드에 손대지 않아도 코드를 짜고 오류를 고치는 장면으로 시작한다. 발표자는 여기에 '새로운 AI'는 없다고 강조한다. 우리가 쓰던 것과 같은 언어 모델이며, 차이는 두뇌가 아니라 그 주위를 감싼 구조에 있다는 것이다.

기존 챗봇은 방에 갇힌 전문가에 비유된다. 문 밑으로 질문을 밀어 넣으면 답을 밀어 내주지만 직접 무언가를 확인하거나 실행할 수는 없다. 에이전트는 그 전문가에게 전화와 컴퓨터, 그리고 여러 번 턴을 주고받게 하는 시스템을 쥐여 준 것이다. 같은 두뇌지만 능력이 완전히 달라진다.

모든 에이전트는 동일한 기본 루프를 돈다. 연구자들은 이를 추론과 행동을 결합한 ReAct 패턴이라 부른다. ① 인지(맥락 수집): 사용자의 목표, 사용 가능한 도구, 과거 기억을 받는다. ② 추론: 무엇을 해야 할지, 바로 답할 수 있는지 판단한다. ③ 행동: 도구를 쓰기 위한 구조화된 요청을 출력한다. ④ 관찰: 도구가 실제로 실행되어 결과를 모델에 돌려준다. 그리고 충분해질 때까지 이 과정을 반복한다.

핵심은 모델이 직접 실행하지 않는다는 점이다. 모델은 이름·설명·입력값으로 정의된 도구를 보고, 쓰고 싶을 때 평문 대신 구조화된 JSON을 출력한다. 개발자가 짠 오케스트레이션 코드가 이를 파싱해 실제 API를 호출하고, 그 결과를 다시 모델에 관찰값으로 먹인다. '모델이 제안하고 코드가 실행한다'는 핸드셰이크다. 또한 루프 한 번마다 API 호출이 일어나므로 반복이 많아질수록 지연과 비용이 늘어난다.

메모리도 다뤄진다. 컨텍스트 윈도는 책상 공간 같아서 대화와 도구 결과로 금세 가득 찬다. 그래서 요약하거나 덜 중요한 부분을 버리거나 최근 기록만 남기는 슬라이딩 방식을 쓴다. 세션을 넘는 장기 기억은 더 어려워, 중요한 내용을 임베딩(의미를 담은 수치 지문)으로 바꿔 벡터 데이터베이스에 저장하고 의미 기반(시맨틱)으로 검색해 불러온다. 영상은 작은 컨텍스트와 외부 메모리를 결합한 하이브리드 방식이 모든 것을 컨텍스트에 욱여넣는 것보다 낫다는 최근 연구(정확도 26% 향상, 지연 91% 감소, 토큰 90% 절감)를 인용한다.

주요 인사이트

• 에이전트의 마법은 더 똑똑한 모델이 아니라 '루프 + 도구'라는 구조에서 나온다 — 같은 모델이라도 아키텍처가 능력을 바꾼다.
• 도구 '설명(description)'이 품질을 좌우한다. 모델은 설명을 읽고 언제 어떤 도구를 쓸지 정하므로, 모호한 설명은 잘못된 도구 선택으로 이어진다.
• 반복 한 번이 곧 토큰 비용이므로, 복잡한 작업은 센트가 아니라 달러 단위로 비용이 불어날 수 있다 — 비용은 각주가 아니라 설계 제약이다.
• 장기 기억은 키워드가 아니라 의미의 기하학적 근접성으로 검색된다는 점이 핵심이며, 이것이 시맨틱 검색의 본질이다.
• 에이전트를 가장 잘 이해하는 길은 도구 하나, 루프 하나로 100줄 이하의 최소 에이전트를 직접 만들어 보는 것이다.

자주 묻는 질문

관련 AI 소식