AI 에이전트 컨텍스트 엔지니어링: 스킬·메모리·컴팩션과 AT&T 프로덕션 사례

핵심 메시지

• 컨텍스트 창이 크다고 무조건 좋은 것은 아니다. 토큰을 많이 넣을수록 성능이 떨어지는 '컨텍스트 로트' 때문에, 필요한 정보만 적시에 넣는 컨텍스트 엔지니어링이 핵심 역량이 된다.
• 나쁜 컨텍스트는 긴 작업에서 복리로 악화된다. 95% 정확도도 세 번 연쇄되면 약 10%p 떨어져 프로덕션 수준을 벗어난다.
• 스킬은 처음엔 제목·설명 같은 최소 메타데이터만 노출하고 필요할 때 전체를 불러오는 '점진적 공개'로, 도구 정의보다 토큰 효율이 높다.
• 메모리 뱅크는 대화에서 의미 있는 정보를 추출·통합해 사용자별로 저장하고, 다음 세션에서 실시간으로 불러와 에이전트가 매번 처음부터 시작하지 않게 한다.
• AT&T는 오케스트레이터-전문가 에이전트 구조와 로직·표시 계층 분리, 세션·메모리 서비스로 채널을 넘나드는 단일 컨텍스트를 유지해 실제 앱에 적용했다.

쉽게 이해하기

구글 클라우드 발표는 AI가 '모델'에서 '에이전트'로 이동하는 흐름 속에서, 에이전트를 신뢰할 수 있게 만드는 컨텍스트 엔지니어링을 주제로 삼는다. LLM은 본질적으로 상태가 없어 실시간 정보 접근·데이터베이스 조회·다단계 작업을 스스로 하지 못한다. 모든 에이전트 기법은 이 한계를 넘기 위한 것이며, 그래서 모델이라는 '뇌'에 도구·스킬·메모리로 이뤄진 '몸(하네스)'을 붙여야 한다.

핵심 경고는 '컨텍스트 로트'다. 최신 모델조차 컨텍스트 창에 토큰을 많이 넣을수록 성능이 눈에 띄게 떨어진다. 목표는 '골디락스 존'을 찾는 것이다. 컨텍스트가 너무 적으면 환각과 파편적 추론, 잦은 되묻기가 생기고, 너무 많으면 잡음과 지연, 비용 증가로 이어진다. 특히 나쁜 출력은 긴 작업에서 복리처럼 누적된다. 정확도 95%의 에이전트도 결정을 세 번 연쇄하면 약 10%p가 깎여 프로덕션 수준을 벗어난다. 그래서 목표는 '올바른 정보를, 올바른 구조로, 올바른 시점에' 주는 것이다.

메모리 뱅크 팀 리드 킴벌리는 컨텍스트 창을 동적으로 채우는 세 가지 전략을 설명한다. 첫째, 도구는 스키마 정의가 장황해 지능이 높아질수록 토큰 사용도 늘어난다. 둘째, 스킬은 처음엔 제목과 '언제 쓰는지'를 담은 1단계 메타데이터만 노출하고, 에이전트가 호출을 결정하면 전체 내용을 불러오는 '점진적 공개' 방식이라 도구보다 토큰 효율이 높다. 셋째, 세션 컴팩션은 길어진 대화에서 오래된 부분을 버리되, 중요한 초반 정보는 요약하거나 메모리로 추출해 유지한다. 구글 ADK의 '작업 컨텍스트'는 매 호출마다 버려지는 임시 공간으로, 세션 기록과 개발자 제공 콘텐츠(시스템 지시·도구·스킬 정의)·메모리가 적시에 조립된다.

메모리 생성 알고리즘은 대화를 데이터 소스로 삼아 추출 LLM이 의미 있는 정보를 뽑고, 이미 저장된 정보와 겹치는지 판단하는 '통합' 과정을 거친다. 예컨대 사용자가 인사말로 매번 이름을 말해도 '내 이름은 킴' 같은 중복 메모리를 쌓지 않고 하나로 정리한다. 메모리는 사용자별로 분리되어 저장되며, 다음 상호작용 때 실시간으로 불러와 대화를 초기화한다. 기본적으로 개인 정보·선호·주요 이벤트·기억/삭제 지시를 저장하지만 주제를 직접 정의할 수도 있다. 주입 방식은 필요할 때 불러오는 적시 검색과, 상호작용을 미리 준비해 두는 상시 컨텍스트로 나뉜다. 새로 발표된 '메모리 프로파일'은 스키마를 정의하면 그에 맞는 정보를 추출·유지해, 단일 진실 원천을 두면서도 각 정보가 어떻게 도출·변화했는지 추적하고 필요하면 되돌릴 수 있게 한다.

데모에서는 일본·파리 여행 계획을 예로, '혼잡 회피·간결한 답변·화려함보다 진정성' 같은 선호가 완전히 새로운 세션에서도 이어져 처음부터 사용자에게 맞는 답이 나오는 모습을 보여준다. 마지막으로 AT&T의 제프와 프리티가 실제 적용 사례를 소개한다. 통신 상품은 단말·요금제·부가서비스·광대역·번들(One Connect)까지 조합이 방대하고, 고객은 한 번에 사지 않고 디지털·채팅·매장·콜센터를 오가며 2~4회 방문한 뒤 결정한다. 사람 상담원은 근속이 1년 미만이라 전체 카탈로그를 파악하기 어렵다. AT&T는 오케스트레이터가 의도를 파악해 스킬 기반 전문가 에이전트로 넘기고, 로직 계층(세일즈 마스터)과 표시 계층(포매터)을 분리해 채널이 달라도 단일 컨텍스트를 유지한다. ADK와 제미나이로 구축하고 DLP·레드팀·필터링된 MCP 도구로 보호하며, Vertex AI 세션 서비스와 메모리 뱅크로 단기·장기 기억을 관리한다. 그 결과 1일차 웹에서 아이폰16 보상판매를 살펴보다 이탈한 고객이 3일차 음성 채널로 돌아와도 반복 질문 없이 추천으로 바로 넘어가고, 7일차엔 백그라운드에서 미리 만들어 둔 장바구니로 한 번의 클릭으로 구매하는 경험이 가능해진다.

주요 인사이트

• 컨텍스트 창이 커진다고 성능이 좋아지는 게 아니라 오히려 나빠질 수 있다는 '컨텍스트 로트'는, 무조건 많은 정보를 넣는 설계를 재고하게 만드는 실무적 반례다.
• 긴 작업에서 정확도가 복리로 깎인다는 점(95%³ ≈ 86%)은, 개별 단계의 작은 오차 관리가 에이전트의 최종 신뢰성에 결정적임을 수치로 보여준다.
• 스킬의 '점진적 공개'는 필요할 때만 상세 정보를 로드해 토큰을 아끼는 설계로, 도구를 무겁게 늘리는 대신 컨텍스트를 동적으로 관리하는 방향을 제시한다.
• 메모리를 사용자별로 분리하고 추출·통합을 백그라운드로 분리하면, 에이전트는 응답에 집중하고 메모리 시스템은 다음 상호작용을 위한 준비에 집중하도록 역할을 나눌 수 있다.
• AT&T 사례의 핵심은 로직 계층과 표시 계층을 분리해 채널이 바뀌어도 단일 컨텍스트를 유지한 점으로, '추측에서 기억으로' 전환하는 것이 실제 구매 전환의 마찰을 줄인다.

자주 묻는 질문

관련 AI 소식