Tool LLM 입문: ReAct·HuggingGPT·ToolLLM으로 이해하는 도구 사용 AI 에이전트

핵심 메시지

• 요즘 AI 에이전트의 능력은 언어 모델이 커져서라기보다, 외부 도구(API)와 연결되면서 활용 범위가 넓어졌기 때문이다.
• 도구를 쥐여 주는 것만으로는 부족하며, 언제·왜·어떤 도구를 쓸지 판단하는 '추론' 능력이 도구 사용의 핵심이다.
• ReAct는 생각(추론)과 행동(도구 호출)을 번갈아 반복해 서로를 보완하도록 만든 초기 대표 연구다.
• HuggingGPT는 LLM을 중앙 컨트롤러로 삼아 복잡한 요청을 쪼개고 여러 전문 AI 모델을 골라 연결한다.
• ToolLLM은 1만 6천여 개의 실제 API로 대규모 학습 데이터를 만들어, 오픈소스 모델도 도구 사용 능력을 갖출 수 있음을 보였다.

쉽게 이해하기

고려대학교 산업경영공학과 DMQA 연구실의 오픈 세미나에서 다룬 주제는 '도구를 사용하는 LLM(Tool LLM)'이다. 회의 일정을 잡고 문서를 요약해 메일로 보내거나, 항공권과 호텔을 검색하고, 코드를 고친 뒤 테스트를 돌리는 일까지 AI가 처리하는 모습은 마치 언어 모델 자체가 똑똑해진 것처럼 보인다. 하지만 발표자는 이런 능력의 상당 부분이 언어 생성 능력이 아니라 '외부 도구와의 연결'에서 나온다고 설명한다.

언어 모델은 학습 시점까지의 데이터에 의존하기 때문에 날씨나 환율처럼 계속 바뀌는 최신 정보에 약하고, 다음 토큰의 확률을 예측하는 구조라 정밀한 계산이나 데이터베이스 조회에도 한계가 있다. 이때 모델이 스스로의 무지를 인지하지 못하면 실제 값을 확인하는 대신 그럴싸한 답을 지어내는 환각이 생긴다. 날씨 API나 환율 API 같은 도구를 붙이면 이런 한계를 상당 부분 메우고, 답변의 신뢰성과 실제 수행 가능성까지 끌어올릴 수 있다.

다만 도구 목록만 던져 준다고 문제가 풀리지는 않는다. '지금'이라는 단어만 보고 캘린더 API를 부르거나 '서울'이라는 단어만 보고 지도 API를 호출하는 식의 오류는, 추론과 도구 호출이 분리돼 있기 때문에 생긴다. 결국 사용자의 목적을 이해하고 어떤 정보가 부족한지 판단한 뒤 도구를 고르는 '추론 능력'이 도구 사용의 진짜 핵심이며, 추론을 바탕으로 도구를 능동적으로 쓰는 구조가 바로 오늘날의 LLM 에이전트다.

세미나는 이 흐름을 만든 초기 연구 세 가지를 순서대로 짚는다. 첫째는 추론과 행동을 결합한 ReAct, 둘째는 여러 전문 모델을 조율하는 HuggingGPT, 셋째는 실제 API 사용 능력을 직접 학습시킨 ToolLLM이다. 세 연구는 각각 '어떻게 생각하며 행동할까', '어떻게 여러 모델을 지휘할까', '어떻게 실제 도구 사용을 학습시킬까'라는 서로 다른 질문에 답한다.

주요 인사이트

• ReAct(2023, ICLR)는 기존 에이전트의 '행동 공간'에 자연어로 된 '생각'을 하나의 행동 유형으로 추가한다. 생각은 환경을 바꾸지 않지만 현재까지의 정보와 목표를 정리하고 다음 행동의 맥락을 갱신한다. 생각→행동→관찰을 답을 찾을 때까지 반복하며, 별도 학습 없이 프롬프트 예시만으로 바로 적용할 수 있어 구현이 직관적이다.
• 생각만 하는 방식(예: Chain-of-Thought)은 외부와 단절돼 초반 오류가 끝까지 전파되고, 행동만 하는 방식은 목표·실패 이유·다음 전략을 정리하지 못해 실패한 행동을 반복한다. ReAct는 애플 리모컨이 원래 어떤 기기를 제어하려 설계됐는지 같은 질문에서, 검색 결과를 추론에 반영하며 검색 방향을 수정해 정답에 도달하는 모습을 보였다.
• HuggingGPT는 LLM을 중앙 컨트롤러로 두고 복잡한 요청을 여러 하위 작업으로 분해한 뒤 각 작업에 맞는 전문 AI 모델을 배정·연결한다. 한 이미지에서 자세를 추출하고 다른 텍스트 조건과 결합해 새 이미지를 만드는 식으로, 요청이 복잡해질수록(순차·그래프 작업) 성능 이점이 커졌다. 다만 성능이 컨트롤러 역할 LLM의 계획 능력에 크게 의존한다는 한계도 드러났다.
• ToolLLM(2024, ICLR)은 프롬프트에 머물던 이전 연구와 달리 실제 API 사용 능력을 학습하는 데 초점을 둔다. RapidAPI에서 1만 6천여 개 실제 API를 모아 ToolBench 데이터셋을 만들고, ChatGPT로 명령과 풀이 경로를 자동 생성했다. 한 방향으로만 진행하는 ReAct의 오류 전파를 막기 위해, 실패 시 이전 선택으로 되돌아가는 트리 기반 추론 DFSDT를 도입했다.
• ToolLLM은 API 리트리버(Sentence-BERT 기반 대조 학습)로 수만 개 중 관련 API 후보만 추린 뒤, LLaMA 7B를 미세조정한 ToolLLaMA에 넘겨 문제를 푼다. 실험에서 '약한 모델 + 강한 탐색 전략'의 조합이 '강한 모델 + 단순 추론'을 앞서기도 했고, 학습 때 못 본 새 명령·도구·카테고리에서도 성능이 유지돼 일반적 패턴을 학습했음을 보였다.

자주 묻는 질문

관련 AI 소식