컨텍스트 레이어란 무엇인가: 프로덕션 AI 에이전트가 빠뜨린 인프라 총정리

핵심 메시지

• 지능(모델 성능)은 지난 10년간 약 1000배 늘었지만, 기업의 상황적 지식인 컨텍스트는 거의 제자리였다.
• 실제 성과는 지능과 컨텍스트의 함수이며, 사람의 업무 성과조차 IQ로는 약 10%밖에 설명되지 않는다.
• 개별 목적의 에이전트를 따로 만드는 방식은 서로 고립된 섬처럼 컨텍스트가 흩어지는 문제를 낳았다.
• 여러 스킬과 지식을 한곳에 모은 '회사 두뇌', 즉 컨텍스트 레이어가 대안으로 제시됐다.
• 컨텍스트는 코드처럼 버전·의존성·품질·보안을 관리해야 하며, 결국 회사의 IP이자 경쟁 차별점이 된다.

쉽게 이해하기

아틀란(Atlan) 창업자 프루칼파 산카르가 AI 엔지니어 컨퍼런스에서 '컨텍스트 레이어(context layer)'가 무엇인지 발표했다. 그는 빌 게이츠가 인터넷 시대 초입에 '콘텐츠가 왕'이라고 했듯, 에이전트 시대에는 '컨텍스트가 왕'이 될 것이라 짚으며 2026년이 컨텍스트의 해가 되고 있다고 말했다.

그는 역설을 지적한다. 모델은 2년 전만 해도 변호사 시험을 통과하지 못했지만 지금은 상위 1% 수준이 될 만큼 기하급수적으로 똑똑해졌다. 그러나 실제 유용성은 그만큼 늘지 않았다. AI 활용 사례 다섯 중 하나만 프로덕션에 도달하고, CEO의 56%는 AI로 인한 재무적 이득이 없다고 답한다. 그는 성과가 지능과 컨텍스트의 함수라고 본다. 인간 세계에서도 업무 성과의 변량 중 IQ로 설명되는 것은 약 10%뿐이며, 가장 뛰어난 동료는 시험을 잘 본 사람이 아니라 현장에서 가장 빨리 배우고 피드백을 잘 받는 사람이다.

그는 분석가 '마야'의 예를 든다. 가맹점주가 '이번 주 드라이브스루 시간이 왜 늘었나'라고 물으면, 마야는 드라이브스루 시간의 정의와 질문자가 누구인지, '이번 주'가 어떤 요일·표준시 기준인지 같은 지식은 물론, 3분기 계절성이나 지난 분기 신제품 출시 같은 진단 노하우, 그리고 질문자에 맞춰 답하는 규범까지 동원해야 한다. 사람은 이런 것을 최고의 동료를 따라 하고, 실수하고, 피드백을 받고, 예외 상황을 겪으며 배운다. 문제는 에이전트에게 이 학습 구조가 없다는 점이다.

아틀란은 약 18개월 전 첫 번째 시도로 업무별 개별 에이전트를 부트스트랩했다. 에이전트를 만드는 것은 5분이면 됐지만 정확도를 좌우하는 비즈니스 컨텍스트를 주는 데는 한없이 오래 걸렸다. 게다가 각 에이전트가 섬처럼 고립돼, 마케팅이 포지셔닝을 바꿔도 웹사이트의 영업 에이전트는 옛 문구를 말했다. 오류가 나도 모델·에이전트·컨텍스트 중 무엇 때문인지 추적하기 어려웠고, 저마다 다른 메모리로 학습하며 컨텍스트가 흩어졌다. 도구도 relevance→Google ADK→glean→클로드 코드로 옮겨 다니며(지금은 클로드와 코덱스 반반) 그때마다 컨텍스트가 각 시스템에 갇혔다.

올해 범용 에이전트가 등장하자 그는 접근을 바꿨다. 사람의 드림팀이 공유 언어·공유 플레이북·공유 규범·공동 학습 루프를 갖듯, 도메인별 스킬을 한곳의 '회사 두뇌'에 모아 검색해 쓰는 구조다. 마케팅팀은 6개월간 약 300개 스킬과 40개 에이전트를 만들었다. 그러나 컨텍스트를 코드처럼 관리해야 한다는 새 과제가 생겼다. 스킬 간 의존성이 얽혀 하나가 학습·변경되면 하위가 깨지고, 스킬이 낡아 드리프트하며, 품질 책임 주체와 보안·거버넌스가 난제가 됐다. 그는 '컨텍스트를 위한 깃허브'가 필요하다고 말한다. 버전·수명주기·품질·의존성 관리와 승인자·유지관리자·기여자 구조, 트레이스를 되짚어 승인/거절을 반복하는 복리형 학습 루프가 그것이다. 그는 컨텍스트가 곧 IP이며, 같은 모델을 쓰는 경쟁사 사이에서 회사를 차별화하는 것은 문화와 규범을 담은 컨텍스트라고 강조했다.

주요 인사이트

• 벤치마크가 측정하는 지능과 실제 업무 성과 사이의 간극이 AI 도입의 핵심 병목이라는 진단이다.
• 에이전트를 5분 만에 만들 수 있어도, 정확도를 좌우하는 것은 결국 비즈니스 컨텍스트 엔지니어링이다.
• 도구를 자주 바꿀수록 컨텍스트가 각 시스템에 갇혀, 컨텍스트 이식성이 중요한 요구사항이 된다.
• 트레이스(상호작용 기록)를 되짚어 유지관리 승인 루프로 되돌리는 것이 복리처럼 쌓이는 학습 고리를 만든다.

자주 묻는 질문

관련 AI 소식