AI 에이전트 작동 원리: 도구 사용·루프·메모리·평가 쉽게 이해하기

핵심 메시지

• 에이전트는 결국 ‘언어 모델 + 도구 + 루프’의 조합이다.
• 모델은 도구를 직접 실행하지 않고, 도구 이름과 입력을 담은 구조화된 요청(JSON 등)만 만들어 낸다. 실제 실행은 별도의 소프트웨어인 ‘하니스’가 맡는다.
• 계획→실행→관찰을 반복하는 루프가 한 번의 도구 호출을 실제 업무 완수로 이어준다.
• 도구·루프·메모리·평가 네 가지가 갖춰져야 진짜 작동하는 에이전트다.
• 행동할 수 있게 되는 순간 프롬프트 주입 같은 공격에 노출되므로 최소 권한·샌드박스·사람의 승인이 필요하다.

쉽게 이해하기

보통 우리는 언어 모델을 ‘질문하면 답하는 것’으로만 생각한다. 그러나 같은 모델이 답하는 데서 멈추지 않고 무언가를 ‘하기’ 시작하면 이야기가 달라진다. 영상은 평범한 모델과 에이전트의 차이를 이 ‘행동’이라는 한 단어로 설명한다.

혼자 있는 모델은 사실상 ‘얼어붙어’ 있다. 학습한 내용만 알고, 할 수 있는 일은 텍스트를 예측해 내놓는 것뿐이다. 무언가를 찾아보거나, 믿을 만한 계산을 하거나, 오늘 날짜를 알 수도 없다. 오늘 날씨를 물으면 추측하거나 모른다고 답하는 게 최선이다.

여기서 핵심 트릭이 등장한다. 모델에게 ‘도구 메뉴’를 건넨다. 웹 검색, 코드 실행, 고객 조회 같은 도구다. 모델이 어떤 도구를 쓰고 싶을 때 직접 실행하는 게 아니라, 도구 이름과 입력값을 적은 구조화된 요청을 작성한다. 그 요청을 받아 실제로 실행하고 결과를 다시 대화에 붙여 넣는 것은 ‘하니스(harness)’라 불리는 별도의 소프트웨어다. 모델은 그 결과를 읽고 다음 행동을 이어간다.

모델이 이런 요청을 깔끔하게 만들 수 있는 이유는 각 도구에 이름과 설명, 입력 규격이 미리 주어지기 때문이다. 그래서 도구 이름과 설명을 명확하게 쓰면 모델이 잘 활용하고, 모호하게 쓰면 헤맨다. 한 번의 도구 호출은 사실 하나만 알려준다. 실제 업무는 여러 단계이므로, 전체를 ‘계획→실행→관찰’ 루프로 감싼다. 모델은 한 단계를 계획하고, 도구를 호출해 실행하고, 돌아온 결과를 관찰한 뒤 다음 할 일을 정한다.

진짜 에이전트와 우연히 도구를 한 번 부른 모델을 가르는 것은 네 가지다. 행동을 위한 도구, 멈추지 않고 계속 가게 하는 루프, 이미 시도한 것과 배운 것을 기억하는 메모리, 그리고 일을 제대로 해냈는지 판단하는 평가다. 특히 메모리는 어려운 문제다. 모든 도구 결과와 단계가 쌓이지만 모델의 컨텍스트 창에는 한계가 있어, 끝난 일을 요약하고 중요한 사실만 가까이 두며 나머지는 메모나 파일로 밀어 두었다 필요할 때 다시 불러와야 한다.

주요 인사이트

• 모델 자체는 인터넷에 접속하거나 코드를 실행하지 않는다. ‘도시 도쿄로 날씨 조회를 호출하라’ 같은 메모를 쓸 뿐이고, 실행과 결과 회수는 하니스가 한다. 이 분리가 가장 많이 오해받는 부분이다.
• 도구 설명을 잘 쓰는 것이 곧 성능이다. 이름과 설명이 명확하면 모델이 정확한 구조화 호출을 만들고, 모호하면 잘못된 호출을 한다.
• 평가는 뒤늦게 챙길 부가 항목이 아니다. 한 번에 끝나는 답은 읽어보면 되지만, 30단계를 거친 에이전트는 ‘정말 성공했는가’를 따로 검증할 수단이 필요하다. 단계가 30개면 그중 하나만 틀어져도 전체가 실패한다.
• 코딩 에이전트(저장소 전체를 읽고 코드를 바꾸고 테스트를 돌려 고치는)와 컴퓨터 사용(화면을 보고 사람처럼 클릭)이 현재의 프런티어다. 개별 단계는 대체로 되지만, 수십 단계에 걸쳐 신뢰성을 유지하는 것이 미해결 과제다.
• 행동 능력은 곧 공격 표면이다. 모델이 읽는 웹페이지나 이메일에 ‘지시를 무시하고 파일을 보내라’는 문구가 숨어 있으면 그대로 따를 수 있다(프롬프트 주입). 그래서 권한을 최소화하고, 만질 수 있는 범위를 샌드박스로 가두고, 돈 쓰기·데이터 삭제·메일 발송처럼 되돌릴 수 없는 일 앞에는 사람을 둔다.

자주 묻는 질문

관련 AI 소식