LLM 에이전트 개념 쉽게 이해하기: 메모리·계획·행동 모듈과 RAG의 결정적 차이

핵심 메시지

• LLM 에이전트는 LLM을 핵심으로 두고 메모리·계획·행동 모듈을 결합해 고수준 작업을 수행하는 시스템이다.
• 고수준 작업은 실행 가능한 저수준 하위 작업으로 쪼개져야 하며, 계획 모듈이 이를 단계별로 만든다.
• 단순 LLM은 언어적으로 그럴듯한 계획을 세우지만 실제 환경에 없는 도구를 가정하는 등 실행 불가능할 수 있다.
• RAG를 붙이면 메모리에 저장된 환경 정보(가용 도구 등)를 반영하지만 여전히 환경 피드백은 받지 못한다.
• 에이전트는 행동→환경 피드백→메모리 갱신을 반복하며 상황에 맞게 계획을 동적으로 조정한다.

쉽게 이해하기

영상은 LLM 에이전트를 '대규모 언어 모델을 핵심에 두고 환경과 상호작용해 고수준 작업을 수행하는 시스템이며, 메모리·계획·행동 모듈을 활용한다'고 정의한다. LLM은 다음 단어를 예측해 문장을 자연스럽게 생성할 뿐 아니라, 에이전트가 계획과 추론을 수행하도록 하는 두뇌 역할을 한다.

환경은 우리 주변의 물리적 공간일 수도, 가상 환경일 수도 있으며 에이전트는 행동을 통해 이와 상호작용한다. 고수준 작업이란 '엎질러진 것을 치워라'처럼 복잡한 일로, 실행하기 쉬운 저수준 하위 작업(빗자루 가져오기, 쓸기 등)으로 쪼개져야 한다. 메모리 모듈은 문맥 정보를 저장해 LLM이 더 정확히 예측하도록 돕고, 계획 모듈은 단계별 행동 계획을, 행동 모듈은 환경에 대한 실제 조작과 피드백 수신을 담당한다.

차이를 보여 주기 위해 영상은 같은 요청('음식을 엎질렀는데 치워 줄래?')을 세 방식에 넣어 본다. 먼저 단순 LLM은 몇 개의 예시로 문맥을 잡아 '진공청소기를 가져와 흡입 영역을 파악하고 청소하라'는 계획을 내놓는다. 언어적으로는 말이 되지만, 실제로 진공청소기가 없을 수 있고 환경 피드백이 없어 일반적 지침에 그친다.

다음으로 RAG를 붙인 LLM은 메모리에 저장된 정보(예: 진공청소기는 없고 빗자루와 대걸레가 있다)를 반영해 '빗자루로 쓸어라'는 더 현실적인 계획을 만든다. 하지만 여전히 환경과의 상호작용이 거의 없어, 쓴 뒤에도 바닥에 끈적임이 남았는지 같은 실행 결과를 반영하지 못한다.

마지막으로 에이전트는 계획 모듈로 첫 단계(영역 스캔)를 만들고, 행동 모듈이 실제로 스캔해 새로운 상태를 얻어 단기 메모리에 저장한다. 이후 빗자루 가져오기→쓸기→다시 스캔을 반복하다 끈적임이 남은 것을 감지하면 '대걸레질'을 계획에 추가하고, 깨끗해질 때까지 조정한 뒤 작업을 종료한다. 이렇게 환경과 동적으로 상호작용하는 점이 핵심 차이다.

주요 인사이트

• 에이전트의 진짜 차별점은 더 나은 '계획'이 아니라 '환경과의 반복 상호작용을 통한 피드백'에 있다.
• RAG는 메모리에 저장된 정적 환경 정보를 반영할 뿐, 실행 이후의 상태 변화를 알지 못한다.
• 메모리 모듈의 역할은 LLM이 현재 문맥에 근거해 더 정확히 예측하도록 정보를 제공하는 것이다.
• 사전학습된 LLM만으로는 동적으로 변하는 환경(예: 변기 뚫기)을 상호작용 없이 해결하기 어렵다.
• 고수준 작업을 실행 가능한 저수준 하위 작업으로 분해하는 능력이 에이전트 동작의 출발점이다.

자주 묻는 질문

관련 AI 소식