LLM 컨텍스트와 메모리 차이, AI 에이전트 면접 질문으로 이해하기

핵심 메시지

• LLM 에이전트의 컨텍스트는 시스템 프롬프트, 도구 설명, 사용자 질문에 더해 도구를 호출할 때마다 그 결과가 계속 누적되는 구조다.
• 컨텍스트가 수백만 토큰 규모로 불어나면 모델이 혼란을 일으켜 환각(hallucination) 위험이 커진다.
• 해법은 크게 두 갈래다. 대상별로 요약을 만들어 별도 메모리 계층에 저장하거나, 역할별 에이전트로 나눠 컨텍스트 자체를 분산시키는 것이다.
• 메모리는 밖에 저장해 둔 것이고, 컨텍스트는 질문에 답하는 순간 모델 안에 들어가 있는 '런타임 메모리'다.
• 멀티 에이전트 구조는 결국 마이크로서비스와 같은 관심사 분리 원리를 LLM 시스템에 적용한 것이다.

쉽게 이해하기

이 영상은 AI 엔지니어 채용 면접을 재현한 모의 문답이다. 면접관이 '모델에 엄청나게 많은 컨텍스트가 들어온다면 어떻게 하겠느냐'고 묻고, 지원자가 화이트보드에 직접 그림을 그려가며 답하는 형식으로 진행된다. 추상적인 설명 대신 '일본 여행 계획을 세워줘'라는 구체적인 요청 하나를 끝까지 따라가며 시스템 내부에서 무슨 일이 벌어지는지 보여준다.

출발점의 컨텍스트에는 시스템 프롬프트, 에이전트가 쓸 수 있는 도구들의 설명, 그리고 사용자 질문이 들어 있다. 모델은 이를 보고 호텔 검색 도구를 호출하고, 그 결과가 컨텍스트에 더해진다. 이어서 항공편 도구를 호출하면 그 결과가 또 더해진다. 즉 에이전트가 한 걸음 움직일 때마다 '어떤 행동을 했는지'와 '그 결과가 무엇인지'가 컨텍스트에 계속 쌓인다는 것이 핵심이다.

그렇다면 다섯 사람의 여행을 한꺼번에 계획하는 것처럼 도구 호출이 폭증하면 어떻게 되는가. 지원자는 두 가지 대응을 제시한다. 하나는 사람별로 요약을 만들어 다섯 개의 요약을 각각 다른 자리에 저장해 두고 필요할 때 꺼내 쓰는 방식으로, 이때 에이전트 시스템에는 별도의 메모리 계층이 명시적으로 추가되어야 한다. 다른 하나는 계획 담당과 요약 담당처럼 역할별로 에이전트를 나눠 컨텍스트 자체를 쪼개는 멀티 에이전트 패턴이다. 면접관이 '마이크로서비스 같다'고 하자 지원자도 같은 원리라고 답한다.

면접의 후반부는 '그럼 메모리는 정확히 무엇이냐'는 질문으로 넘어간다. 지원자의 정리는 명료하다. 챗봇의 한 대화 세션 안에서 오가는 내용은 컨텍스트로 들어가지만, 예컨대 의료 챗봇에게 '지난 진료 때 처방받은 약이 무엇이었지?'라고 물으면 저장해 둔 기록에서 관련된 부분만 꺼내 컨텍스트를 채워야 한다. 저장되어 있는 쪽이 메모리이고, 답변을 만드는 그 순간 모델이 들고 있는 것이 컨텍스트다.

면접관은 한 걸음 더 파고든다. '그건 결국 데이터베이스를 부르는 도구 호출 아닌가, 왜 굳이 메모리라고 부르나?' 지원자는 호출 자체는 도구 호출이 맞지만 메모리는 그 안에 저장되는 내용물을 가리키며, 그 저장소로는 흔히 관계형 데이터베이스가 쓰인다고 답한다. 용어가 아니라 '무엇이 저장되고 무엇이 실행 시점에 주입되는가'라는 구분이 본질이라는 이야기다.

주요 인사이트

• 에이전트의 컨텍스트 폭증은 모델 성능 문제가 아니라 설계 문제다. 도구 호출 결과가 누적되는 구조 자체가 원인이므로, 더 긴 컨텍스트 창이 아니라 무엇을 남기고 무엇을 버릴지 정하는 설계로 풀어야 한다.
• 요약 전략과 멀티 에이전트 전략은 목적이 같다. 둘 다 모델이 한 번에 봐야 할 정보의 양을 줄여 판단이 흐려지는 것을 막는다.
• '컨텍스트는 런타임, 메모리는 저장소'라는 구분은 실무에서 유용한 기준이다. 어떤 정보를 항상 들고 다닐지, 필요할 때만 꺼낼지를 나누는 출발점이 된다.
• 메모리 검색이 결국 도구 호출로 구현된다는 지적은 중요하다. 메모리는 특별한 마법이 아니라 '검색해서 컨텍스트에 채워 넣는' 평범한 파이프라인이며, 그래서 무엇을 어떻게 검색하느냐가 품질을 좌우한다.
• 면접 답변의 설득력은 용어 암기가 아니라 요청 하나를 끝까지 따라가며 시스템 상태 변화를 그려내는 능력에서 나온다는 점도 이 영상이 보여주는 부분이다.

자주 묻는 질문

관련 AI 소식