LLM 에이전트 기초 강의: 도구 호출·환경 표현·ReAct 계획과 멀티 에이전트

핵심 메시지

• 강의자는 에이전트를 언어모델과 프롬프트, 그리고 행동·관찰 공간(도구 목록)의 조합으로 정의하고, 여러 단계에 걸쳐 바깥 세계와 주고받는지를 기준으로 삼는다.
• 도구는 지각·행동·계산 세 가지 용도로 쓰이며, 모델 밖에서 실행된다는 점에서 모델 내부에서 진행되는 사고 사슬과 구분된다.
• 도구 호출로 넘어가는 방법은 전용 토큰을 학습시키는 쪽과 코드 태그처럼 프롬프트만으로 처리하는 쪽으로 나뉜다.
• 웹 페이지 같은 환경은 HTML이 너무 장황해서 접근성 트리로 압축하거나 관련 부분만 골라 넣고, 화면에는 클릭 대상마다 번호를 붙이는 방식이 널리 쓰인다.
• 계획을 세우게 하면 모델이 그 계획에 지나치게 충실해 실패한 단계에서 멈추므로, 계획을 되돌려 다시 세울 수 있는 구조가 필요하다.

쉽게 이해하기

이 영상은 카네기멜런대 고급 자연어처리 수업에서 LLM 에이전트의 기본기를 다룬 회차다. 강의자는 먼저 에이전트를 정의하는 데서 출발한다. 환경을 관찰해 행동을 만들어내는 것이라는 학생의 답에 동의하면서, 자신은 도구를 능동적으로 쓰는지, 여러 단계를 반복하는지, 바깥 세계와 상호작용하는지를 기준으로 본다고 덧붙인다. 검색 결과를 한 번 가져와 답을 만드는 시스템은 단계가 반복되지 않아 에이전트로 보기 어렵다는 예도 든다.

도구 사용 부분에서는 언어모델이 잘 못하는 일을 밖으로 넘기는 관점이 강조된다. 데이터베이스 질의나 검색, 계산기와 파이썬 실행, 날씨나 일정 조회처럼 지식을 가져오거나 세계를 바꾸는 기능이 도구로 붙는다. 널리 쓰이는 도구는 모델이 이미 학습 과정에서 숱하게 봤기 때문에 설명을 붙일 필요가 없지만, 특수한 도구라면 문서를 프롬프트에 함께 넣어 주면 잘 따라 한다는 실무 감각도 함께 전해진다.

환경 표현은 강의의 중심 주제 가운데 하나다. 텍스트는 가장 흔한 표현이고 이미지는 현실 세계를 다룰 때 필요하지만, 문자 인식과 복잡한 화면 배치를 이해하는 능력이 아직 부족하다는 점이 지적된다. 웹의 경우 HTML은 너무 길어 문맥을 잡아먹기 때문에 시각 장애인용 화면 낭독기가 쓰는 접근성 트리로 줄이거나, 현재 의도와 관련된 부분만 추려 넣는 방법이 쓰인다. 스크린숏과 접근성 트리를 함께 넣는 편이 스크린숏만 쓰는 것보다 나았다는 실험 결과도 소개된다.

환경을 표현하는 것과 이해하는 것은 다른 문제다. 언어모델은 특정 사이트에서 무엇을 어디서 해야 하는지를 잘 모르고, 그래서 엉뚱한 페이지로 가는 실패가 잦다. 사람이 사이트별 절차를 아주 자세히 적어 준 연구는 정확도를 15%에서 약 35%로 끌어올렸고, 성공한 작업 기록을 단계별로 쪼개 자동으로 절차 메모를 만들어 둔 후속 연구도 사람이 손으로 쓴 것과 거의 같은 수준에 도달했다.

마지막 대목은 계획과 복구, 그리고 멀티 에이전트다. 행동 전에 생각을 적게 하는 방식은 정확도뿐 아니라 무엇을 하려는지 사람이 읽을 수 있다는 점에서도 유용하다. 반면 전역 계획은 모델이 계획에 너무 충실한 탓에 한 단계가 막히면 그대로 멈추므로, 하위 에이전트가 '이건 불가능하다'고 되돌려 보내면 계획을 다시 짜는 구조가 제안된다. 강의자는 멀티 에이전트가 문제 구조를 명시적으로 나눠 준다는 장점과 함께, 예상 밖의 상황에서 지나치게 경직된다는 단점도 자신의 경험으로 설명한다.

주요 인사이트

• 도구를 부르는 시점을 알리는 방법은 두 갈래다. 어휘에 전용 토큰을 추가하는 방식은 학습이 필요하지만 쓸 도구가 미리 정해져 있을 때 잘 맞고, 코드 태그를 여닫는 방식은 지시를 잘 따르는 모델이라면 프롬프트만으로도 충분하다.
• 도구를 사람이 정해 주는 대신 모델이 만들게 하는 접근도 소개된다. 문제를 풀면서 함수를 정의해 쓰게 하고, 그 함수를 썼을 때 결과가 나아지면 도구 상자에 추가하는 식이다. 정답이 없을 때는 여러 번 샘플링한 결과의 일관성으로 판단한다.
• 긴 대화의 문맥을 요약해 줄이는 아이디어는 직관적이지만 실제로는 어렵다. 강의자는 코딩 에이전트에서 요약을 도입했다가 성능이 떨어져 지금은 전부 남겨 두고 있다고 밝히며, 이 지점을 연구 주제로 권한다.
• 성공 여부를 판정하는 것과 진행 방향이 옳은지 판단하는 것은 난이도가 다르다. 강의자는 코딩 에이전트가 만든 변경을 언어모델로 평가했을 때 정밀도와 재현율이 대략 70% 수준이었고, 오판의 상당수는 코드가 아니라 실행 환경 준비 실패에서 나왔다고 말한다.
• 행동을 되돌릴 수 없다는 점은 탐색 기반 방법의 현실적인 제약이다. 잘못 산 항공권처럼 취소가 어려운 행동이 있으면 앞으로 여러 갈래를 시도해 보고 되돌아오는 전략 자체가 성립하기 어렵다.
• 멀티 에이전트의 보안 효과는 생각보다 약하다. 강의자는 권한을 부분이 아니라 시스템 전체에 걸어야 한다고 보며, 역할을 나눠도 모델이 창의적으로 우회하는 사례를 든다.

자주 묻는 질문

관련 AI 소식