프롬프트 엔지니어링과 컨텍스트 엔지니어링의 차이 — AI 에이전트를 위한 메모리·상태·RAG·도구 설계

핵심 메시지

• 프롬프트 엔지니어링은 지시문 자체를 잘 작성하는 기술이고, 컨텍스트 엔지니어링은 추론 시점에 모델이 보는 모든 것(프롬프트·검색 문서·메모리·도구)을 프로그래밍으로 조립하는 더 넓은 분야다.
• '파리'가 프랑스인지 미국 켄터키인지처럼, 맥락이 빠지면 에이전트는 그럴듯하지만 틀린 결정을 내린다.
• 효과적인 프롬프트 기법에는 역할 부여, 퓨샷 예시, 생각의 사슬, 제약 설정이 있다.
• 에이전트형 시스템에는 단기·장기 메모리, 상태 관리, RAG(하이브리드 검색), 도구 접근과 도구 설명이 필요하다.
• 실제 런타임 프롬프트는 상태·메모리·RAG에서 채워지는 동적 콘텐츠가 약 80%, 고정 지시가 약 20%일 수 있다.

쉽게 이해하기

IBM의 발표자는 프롬프트 엔지니어링을 '거대 언어모델에 넣을 입력 텍스트를 다듬는 일'로, 컨텍스트 엔지니어링을 '추론 동안 모델이 보는 모든 것(프롬프트뿐 아니라 검색 문서·메모리·도구)을 프로그래밍으로 조립하는 더 넓은 분야'로 정의한다. 차이를 보여 주려 여행 예약을 담당하는 가상의 에이전트 '그레이엄'을 등장시킨다.

'다음 달 데브옵스 콘퍼런스를 위해 파리에 호텔을 예약하라'고 하자 그레이엄은 미국 켄터키주 파리에 있는 호텔을 잡는다. 이는 위치를 명확히 적지 않은 프롬프트의 문제로 볼 수도 있지만, 에이전트가 일정을 확인하거나 콘퍼런스를 검색하는 도구를 썼다면 막을 수 있었다는 점에서 컨텍스트의 문제이기도 하다. 회사 출장 정책(예: 지역별 최대 숙박비를 담은 JSON)을 주지 않으면 예산을 초과한 예약도 막지 못한다.

발표자는 널리 쓰이는 프롬프트 기법을 든다. 역할 부여('너는 보안 취약점을 검토하는 시니어 파이썬 개발자다')는 모델이 그 전문성과 관점을 취하게 한다. 퓨샷 예시는 원하는 형식과 스타일을 두세 개 사례로 보여 준다. 생각의 사슬은 '단계별로 생각하라'며 추론을 드러내게 하고, 제약 설정은 '100단어로 제한' 또는 '주어진 맥락의 정보만 사용'처럼 경계를 명시한다.

컨텍스트 엔지니어링은 에이전트 환경 전체를 조율한다. 메모리는 긴 대화를 요약하는 단기 메모리와, 벡터 데이터베이스로 사용자 선호·과거 이력을 불러오는 장기 메모리로 나뉜다. 상태 관리는 다단계 작업에서 항공편·호텔·교통 예약이 어디까지 진행됐는지를 유지한다. RAG는 하이브리드 검색으로 정책 문서 전체가 아니라 맥락상 관련된 부분만 골라 돌려준다.

도구는 LLM이 혼자서는 못 하는 DB 조회·API 호출·코드 실행을 가능하게 하며, 도구 설명이 무엇을·언제·어떤 제약으로 쓸지 안내한다. 프롬프트 엔지니어링도 사실 컨텍스트 엔지니어링의 일부로, 기본 프롬프트에 런타임의 현재 맥락(최근 경보, 알려진 오탐 등)을 주입하면 최종 프롬프트의 상당 부분이 동적 콘텐츠로 채워진다. 발표자는 '프롬프트 엔지니어링은 더 나은 질문을, 컨텍스트 엔지니어링은 더 나은 시스템을 주며 제대로 결합할 때 가장 강하다'고 맺는다.

주요 인사이트

• 같은 실패도 '프롬프트가 부실했다'와 '컨텍스트(회사 출장 정책 등)를 주지 않았다' 두 관점에서 볼 수 있는데, 에이전트에는 후자가 더 근본적이다.
• RAG는 정책 문서 전체가 아니라 맥락상 관련된 부분만 골라 돌려준다(하이브리드 검색).
• LLM 단독으로는 DB 조회·API 호출·코드 실행을 못 하므로, 도구와 그 사용법을 정의하는 도구 설명이 다리 역할을 한다.
• 실제 런타임 프롬프트는 고정 지시보다 상태·메모리·RAG에서 채워지는 동적 콘텐츠의 비중이 훨씬 클 수 있다.

자주 묻는 질문

관련 AI 소식