컨텍스트 엔지니어링 완전 정리: RAG 검색에서 모델이 직접 탐색하는 방식으로의 전환

핵심 메시지

• 컨텍스트 엔지니어링은 제한된 문맥 창 안에서 소모 토큰은 줄이고 실제로 쓸모 있는 정보의 비중은 높이는 최적화 문제다.
• 지금 주류 방식은 두 갈래다. 벡터 유사도 검색을 쓰는 전통적 RAG와, 모델에게 grep·ls·cat 같은 명령을 주고 파일시스템을 직접 뒤지게 하는 방식이다.
• 문맥 창의 한계는 위치 정보 처리 방식과 얽혀 있다. 고정 표를 쓰는 절대 위치 임베딩은 길이에 딱딱한 상한을 만들고, 회전 방식의 상대 위치 인코딩이 그 상한을 풀었다.
• 문맥 창에 넣었다고 모두 똑같이 쓰이지는 않는다. 일정 길이를 넘기면 성능이 떨어지고, 비슷하지만 틀린 정보가 섞이면 더 나빠지며, 가운데 놓인 정보를 놓치는 경향도 있다.
• 재귀 언어 모델은 긴 프롬프트를 코드 실행 환경의 변수로 두고, 모델이 스스로 잘라 보고 필요한 부분마다 새 문맥의 자기 자신을 호출하게 한다.

쉽게 이해하기

언어 모델을 하나의 프로그램이라고 본다면 프롬프트는 그 프로그램을 조작하는 주된 수단이다. 하지만 프롬프트만으로는 부족하다. 모델은 자기가 다루는 영역의 지식, 즉 문맥도 알고 있어야 한다. 문제는 우리가 가진 자료가 문맥 창에 다 들어가지 않는다는 것이고, 여기서 '무엇을 골라 넣을 것인가'라는 질문이 생긴다.

이 질문에 대한 오래된 답이 검색 증강 생성, 곧 RAG다. 문서를 잘라 임베딩 모델로 벡터화해 저장해 두고, 질문이 들어오면 의미가 비슷한 조각을 찾아 프롬프트에 붙여 넣는다. 최근에는 다른 접근이 부상했다. 모델을 격리된 셸 환경에 두고 파일 탐색 명령을 쥐여주는 방식이다. 코딩 에이전트들이 거대한 코드베이스를 다루는 방식이 바로 이것이다.

왜 이런 장치가 필요한지 이해하려면 문맥 창의 정체를 봐야 한다. 어텐션은 토큰들의 관계는 계산하지만 순서 자체는 알지 못한다. 그래서 위치 정보를 따로 주입해야 하는데, 초기 방식인 고정 크기 위치 표는 표에 없는 위치를 모델이 아예 배운 적이 없다는 딱딱한 상한을 만들었다. 이후 벡터의 크기는 유지한 채 위치에 따라 방향만 회전시키는 방식이 등장하면서, 두 토큰 사이의 상대 거리만 학습하면 되도록 바뀌었고 길이 제약이 크게 완화됐다.

그러나 창이 넓어졌다고 문제가 사라진 것은 아니다. 영상은 '컨텍스트 로트'라 불리는 현상을 소개한다. 문맥이 길어질수록 정답이 창 안에 분명히 들어 있어도 모델이 그것을 제대로 찾아 쓰지 못한다는 것이다. 정답과 비슷하지만 틀린 정보가 함께 있으면 성능은 더 떨어지고, 앞뒤보다 가운데에 놓인 정보가 유독 잘 무시되는 경향도 관찰된다. 원인은 아직 단정할 수 없고 학습 데이터 분포, 위치 인코딩의 장거리 감쇠 등 여러 가설이 제시되는 단계다.

그래서 나온 발상이 재귀 언어 모델이다. 긴 프롬프트를 통째로 모델에 밀어 넣는 대신 파이썬 실행 환경의 변수로 두고, 모델이 코드를 써서 그 변수를 들여다보고 쪼개고 필요한 조각마다 새 문맥을 가진 자기 자신을 호출하게 한다. 영상에서는 소설 한 권을 변수로 두고 청혼 장면을 모두 찾아내게 하는 예시가 나오는데, 모델은 책을 여러 덩어리로 나눠 하위 호출을 병렬로 돌리고 중복 제거와 검증까지 스스로 배치한 뒤 최종 답을 내놓는다.

결국 선택은 지연 시간과 정확도의 맞바꿈이다. 빠른 응답이 중요한 챗봇이라면 유사도 검색 기반의 좁고 빠른 방식이 낫고, 시간이 걸려도 넓게 훑어야 하는 분석 작업이라면 모델이 직접 탐색하는 방식이 유리하다. 영상은 둘 다 시도해 보고 실제 사용자 반응으로 판단하라고 조언한다.

주요 인사이트

• 문맥 관리의 책임이 개발자에서 모델로 옮겨가고 있다. 예전에는 사람이 무엇을 넣을지 고민했다면, 이제는 모델에게 탐색 도구를 쥐여주고 스스로 고르게 한다.
• RAG를 개선하는 일은 사실상 검색 엔진을 튜닝하는 일에 가깝다는 지적이 날카롭다. AI 시스템을 개선한다고 생각했는데 실제로는 검색 품질 문제와 씨름하게 되는 경우가 많다.
• 모델이 파일시스템 탐색을 잘하는 이유는 별도의 학습 없이도 이미 프로그래밍과 터미널 환경을 많이 학습했기 때문이다. 기존 능력을 재활용하는 설계가 강력하다.
• 긴 문맥 처리 능력을 도구로만 두지 않고, 검증 가능한 과제 환경으로 만들어 지도 학습과 강화 학습으로 모델 가중치에 심을 수 있다는 점이 이 접근의 확장성을 보여준다.
• 실무에서 자료가 지저분할수록 이 문제는 커진다. 비슷하지만 미묘하게 다른 정보가 섞인 기업 데이터는 모델의 지능만 믿고 맡기기 어렵다.

자주 묻는 질문

관련 AI 소식