컨텍스트 엔지니어링이란? RAG·에이전트형 RAG·그래프 RAG로 AI 성능 높이는 4대 기둥

핵심 메시지

• 오늘날 프런티어 모델의 한계는 추론력보다 '무엇이 관련 정보인지' 아는 능력, 즉 컨텍스트에 있다.
• 컨텍스트 엔지니어링은 적절한 데이터를 실시간으로 찾아 의미를 이해하고 권한·거버넌스 안에서 올바르게 적용하는 시스템 설계다.
• 좋은 컨텍스트 시스템의 4대 기둥은 연결된 접근·지식 계층·정밀 검색·런타임 거버넌스다.
• 더 많은 컨텍스트가 아니라 더 정밀한 컨텍스트가 핵심이며, RAG·에이전트형RAG·그래프RAG·압축이 이를 돕는다.

쉽게 이해하기

발표자는 AI가 원하는 대로 작동하지 못하게 막는 가장 큰 요인이 모델 자체가 아닐 수 있다고 짚는다. 프런티어 코딩 모델로 그동안 미뤄둔 앱들을 빠르게 만들어낼 만큼 모델의 원초적 지능은 충분하지만, 그럼에도 모델은 종종 '자신 있게' 틀린다. 이는 기본 추론의 실패라기보다 무엇이 관련 정보인지를 모르는 문제, 곧 컨텍스트의 문제라는 것이다.

여기서 컨텍스트 엔지니어링이라는 개념이 등장한다. AI 시스템이 올바른 데이터를 발견하고, 그 의미를 이해하며, 환경의 제약과 거버넌스 안에서 실시간으로 정확히 적용하는 능력을 가리킨다. 예컨대 내일 있을 중요한 고객 미팅 준비 문서를 요청하면, 컨텍스트가 없는 모델은 형식만 그럴듯한 일반적 템플릿을 내놓는다. 반면 컨텍스트 엔지니어링이 잘된 시스템은 해당 고객의 최근 지원 티켓과 갱신이 임박한 거래 이력을 끌어오되, 내 역할이 접근 권한이 없는 내부 가격 논의는 거버넌스에 따라 제외한다.

문제는 모델이 필요로 하는 데이터가 한곳에 있지 않다는 점이다. 데이터는 데이터베이스·문서 저장소·API·SaaS·클라우드·온프레미스에 흩어져 있고, 정형과 비정형이 섞여 있으며, 시시각각 변하고, 누가 어떤 역할이냐에 따라 접근이 제한된다. 따라서 올바른 컨텍스트를 올바른 시점에 올바른 권한으로 전달하는 일은 본질적으로 인프라 문제다.

발표자는 좋은 컨텍스트 엔지니어링 시스템이 갖춰야 할 네 가지를 제시한다. ① 연결된 접근: 데이터를 한곳에 복사하는 대신 있는 자리에서 질의하는 제로카피 페더레이션으로 항상 최신 상태와 기존 접근 통제를 유지한다. ② 지식 계층: 엔티티 해소, 관계·계층 매핑, 의사결정 흐름과 조직 지식을 더해 원시 데이터에 의미를 부여한다. ③ 정밀 검색: 더 길게가 아니라 의도·역할·시간·정책으로 걸러 정말 필요한 것만 전달한다. ④ 런타임 거버넌스: 검색 시점과 응답 시점 모두에서 '이 에이전트가 이 데이터를 조회해도 되는가, 이 결과를 포함해도 되는가'를 실시간으로 강제한다.

정밀 검색의 구체적 기법으로는 문서를 잘라 벡터로 임베딩한 뒤 유사도 검색을 하는 기본 RAG, 1차로 받아본 뒤 부족하면 다시 요청하는 반복형 에이전트형 RAG, 그래프 구조로 '이 고객과 연결된 엔티티와 관련 문서'를 탐색하는 그래프 RAG, 그리고 노이즈를 줄이기 위해 긴 문서를 요약·우선순위화하는 컨텍스트 압축이 소개된다. 결론적으로 많은 경우 모델의 지능과 추론은 더 이상 병목이 아니며, 모델은 접근할 수 있는 컨텍스트만큼만 유능하다.

주요 인사이트

• 모델을 더 키우기보다 모델에게 닿는 컨텍스트의 질을 높이는 것이 실질적 성능 향상의 지름길이다.
• 정밀 검색의 원칙은 '더 많이'가 아니라 '더 정확히'이며, 의도·역할·시간·정책으로 거른 컨텍스트가 긴 컨텍스트보다 낫다.
• 거버넌스를 검색·응답 시점에 실시간으로 강제해야 권한 밖 데이터가 답변에 새어 들어가는 것을 막을 수 있다.
• 그래프 RAG는 엔티티 간 관계로 범위를 좁히고 벡터 검색이 그 안의 세부를 채우는 식으로 정밀도와 구조를 동시에 얻는다.

자주 묻는 질문

관련 AI 소식