컨텍스트 엔지니어링이란? 프롬프트 엔지니어링과의 차이와 AI 에이전트 성능을 높이는 방법

핵심 메시지

• 컨텍스트 엔지니어링은 LLM이나 에이전트에 전달되는 정보를 의도적으로 구조화하고 최적화해 더 정확한 출력을 얻는 작업이다.
• 프롬프트 엔지니어링은 컨텍스트 엔지니어링의 한 조각일 뿐이며, 여러 단계를 추론하는 에이전트일수록 정보 환경 전체 설계가 중요해진다.
• 컨텍스트 창이 200만 토큰을 넘어도 정보를 많이 넣을수록 성능이 좋아지지는 않으며, 오히려 성능이 떨어지는 '컨텍스트 부패' 현상이 나타난다.
• 좋은 컨텍스트는 관련성, 구조, 타이밍, 압축이라는 네 가지 특성을 갖춘다.
• 컨텍스트 관리는 무엇을 남기고 버릴지, 어떻게 우선순위를 매기고 최신 상태로 갱신할지를 지속적으로 다루는 과정이다.

쉽게 이해하기

IBM 테크놀로지 채널의 애나 구토프스카는 더 좋은 AI 시스템을 만드는 일이 완벽한 프롬프트 한 줄을 쓰는 문제였던 시기가 지나가고 있다고 말한다. 대형 언어 모델과 AI 에이전트가 발전하면서 관심의 축이 프롬프트 엔지니어링에서 컨텍스트 엔지니어링으로 옮겨가고 있다는 것이다. 컨텍스트 엔지니어링은 모델이나 에이전트에 전달되는 정보를 의도적으로 구조화하고 최적화해 더 정확하고 관련성 높은 결과를 끌어내는 실무를 가리킨다. 영상은 사람이 한 번에 서너 개의 정보만 20초 남짓 붙들 수 있어 정보를 덩어리로 쪼개는 것처럼, AI 모델이 많은 정보를 처리하는 방식도 비슷하다고 빗댄다.

프롬프트 엔지니어링이 '원하는 답을 얻으려면 지시문을 어떻게 표현할까'를 묻는다면, 컨텍스트 엔지니어링은 모델에 제공되는 정보 환경 전체를 다룬다. 이 구분은 에이전트를 만들 때 특히 중요해진다. 에이전트는 질문 하나에 답하고 끝나는 것이 아니라 여러 단계로 추론하고, 도구를 사용하고, 정보를 검색하고, 기억을 갱신하며 결정을 내리기 때문이다.

그렇다면 컨텍스트 창이 커진 지금도 무엇을 얼마나 넣을지 신경 써야 할까. 영상은 그렇다고 답한다. 컨텍스트가 늘어날수록 성능이 오히려 떨어질 수 있고 연구자들은 이를 '컨텍스트 부패(context rot)'라고 부르기도 한다. 관련 없는 정보가 너무 많거나 구조가 엉망이거나 정작 필요한 데이터가 빠지면 추론이 나빠지고 환각이 늘어난다. 한 장짜리 안내문 대신 슬랙 메시지와 이메일 4,000쪽을 건네받는 상황에 비유된다.

모델이 추론 시점에 보는 컨텍스트에는 시스템 프롬프트, 사용자 질의, 벡터 데이터베이스나 문서 저장소에서 검색한 자료, 과거 대화 이력, 도구와 API를 비롯한 다른 시스템의 출력이 모두 포함된다. 좋은 컨텍스트의 조건으로는 과제 수행에 도움이 되는 정보만 담는 관련성, 정보 유형을 구분할 수 있게 라벨과 형식을 갖춘 구조, 필요한 시점에만 정보를 넣는 타이밍, 원자료를 그대로 붓지 않고 요약·선별하는 압축이 제시된다.

마지막으로 영상은 병원 예약을 돕는 AI 비서를 예로 든다. '이 환자의 예약을 잡아줘'라는 프롬프트만으로는 병원 규정도, 의사의 일정도, 환자의 진료 이력도 모델이 알 수 없다. 반면 예약 유형과 소요 시간 같은 병원 정책, 실시간 의사 일정, 오전 선호 같은 환자의 취향과 관련 진료 이력, 예약 API가 돌려준 가능한 시간대를 함께 제공하면 모델은 추측이 아니라 구조화된 컨텍스트 위에서 추론해 구체적인 제안을 내놓게 된다.

주요 인사이트

• 컨텍스트 창 크기 경쟁과 실제 성능은 별개 문제다. 넣을 수 있는 양이 늘었다는 사실이 넣어야 할 양이 늘었다는 뜻은 아니며, 무엇을 뺄지 결정하는 일이 실력이 된다.
• 에이전트를 만든다면 프롬프트 문장 다듬기보다 검색 결과·도구 출력·대화 이력이 어떤 순서와 형식으로 모델에 도착하는지를 먼저 점검하는 편이 효과가 크다.
• 관련성·구조·타이밍·압축이라는 네 기준은 그대로 점검 목록으로 쓸 수 있다. 특히 타이밍은 모든 정보를 처음부터 밀어 넣는 흔한 설계와 정면으로 어긋난다.
• 컨텍스트 관리는 한 번 설정하고 끝나는 작업이 아니다. 오래된 정보를 무효화하고 최신 상태를 반영하는 생애주기 관리가 빠지면, 정보가 자주 바뀌는 환경에서 시스템이 과거 사실을 근거로 답하게 된다.
• 환각을 모델의 결함으로만 보는 시각도 흔들린다. 영상의 설명대로라면 부실하게 조립된 컨텍스트 자체가 환각을 만드는 원인 가운데 하나다.

자주 묻는 질문

관련 AI 소식