LLM vs 에이전트 차이 정리: 툴 호출, 시스템 프롬프트, 에이전트 루프가 작동하는 방식

핵심 메시지

• 언어 모델 자체는 외부 API를 호출하지 못한다. 모델은 호출을 "결정"할 뿐이고, 실제 실행은 권한과 인증 키를 가진 바깥 시스템의 몫이다.
• 툴은 결국 함수 호출과 같다. 무슨 일을 하는지, 어떤 파라미터가 필요한지, 각 파라미터에 어떤 값이 들어갈 수 있는지를 설명으로 적어 둔 것이 툴 정의다.
• 사용할 수 있는 툴의 목록과 설명은 시스템 프롬프트에 담긴다. 상호작용마다 바꿀 수도 있지만 보통은 고정해 둔다.
• 에이전트는 루프다. 모델은 매 단계에서 툴 호출을 더 할지, 답을 내고 루프를 빠져나갈지를 스스로 판단한다.
• 서로 무관한 툴 호출은 비동기로 함께 처리할 수 있지만, 앞의 결과에 의존하는 호출은 순서를 지켜 동기적으로 실행해야 한다.

쉽게 이해하기

영상은 AI 엔지니어 지원자를 앉혀 놓고 진행하는 모의 면접 형식이다. 면접관은 소프트웨어 개발과 업무 자동화 경험을 확인한 뒤, 곧바로 가장 기본적이면서도 헷갈리는 질문을 던진다. LLM과 에이전트의 차이가 무엇이냐는 것이다.

지원자는 화이트보드로 옮겨 가 여행 일정 서비스를 예로 든다. 사용자가 "여행 일정을 짜 달라"고 요청하면 언어 모델에 그대로 넘겨 계획을 받아 올 수 있지만, 여기에는 구멍이 있다. 누구와 가는지, 항공편과 숙소는 어떤 조건을 원하는지 같은 정보가 없으면 쓸 만한 일정이 나오지 않는다. 그래서 모델이 먼저 사용자에게 되물어 필요한 항목을 채우게 하고, 그다음 항공 시스템에서 가격을, 호텔 시스템에서 빈 객실과 요금을 조회한다.

면접관은 여기서 핵심을 파고든다. 항공 시스템을 호출하는 주체가 모델이냐는 질문이다. 지원자의 답은 명확하다. 모델은 호출하겠다는 판단을 내릴 뿐, 직접 부르지는 않는다. 실제 호출은 호텔·항공 시스템에 접근할 권한과 인증 키를 가진 우리 쪽 시스템이 수행하고, 그 결과를 다시 모델에게 돌려준다.

그렇다면 모델은 어떤 툴이 있는지 어떻게 아는가. 툴의 정의, 즉 각 툴이 하는 일과 필요한 파라미터, 파라미터별 설명과 허용되는 값은 시스템 프롬프트에 적혀 있다. 이 정의는 상호작용마다 바꿀 수 있지만 실무에서는 대체로 정적으로 유지한다. 툴 호출은 API 호출이라기보다 함수 호출처럼 생각하는 편이 이해가 빠르다.

마지막 질문은 호출의 흐름이다. 모델은 툴을 한 번 부르고 끝내지 않고, 호출을 더 이어 갈지 아니면 답을 내놓고 종료할지를 반복해서 판단한다. 루프를 빠져나오는 방법은 둘뿐이다. 답을 낼 수 없다고 인정하거나, 충분한 맥락을 확보했다고 판단하는 것이다. 이때 항공 조회와 호텔 조회처럼 서로 무관한 호출은 비동기로 함께 처리할 수 있지만, 한쪽 결과가 다른 쪽에 필요하다면 순서를 지켜야 한다.

주요 인사이트

• "에이전트는 행동할 수 있고 LLM은 그렇지 않다"는 한 줄 정의는 면접에서 출발점일 뿐이다. 면접관이 실제로 확인하려는 것은 그 행동이 시스템의 어느 지점에서 일어나는지를 아는가다.
• 모델의 결정과 시스템의 실행을 분리해 두면 보안과 권한 설계가 자연스럽게 따라온다. 인증 키와 접근 권한이 모델 바깥에 남기 때문이다.
• 툴을 함수로 바라보면 설계 기준이 분명해진다. 이름과 파라미터, 각 값의 의미를 얼마나 정확히 적어 두었는지가 곧 모델의 판단 품질로 이어진다.
• 영상 후반부에는 같은 질문에 두루뭉술하게 답하는 지원자가 등장한다. 면접관의 조언은 예시를 들어 설명하라는 것이다. 개념을 아는 것과 구조를 그려 보이는 것은 다른 능력이다.

자주 묻는 질문

관련 AI 소식