AI 에이전트 검색 능력 개선 — 지식 격차와 믹스브레드의 검색 에이전트

핵심 메시지

• LLM의 추론 능력은 기하급수적으로 좋아졌지만 검색 기술은 20년간 더디게 발전해, 그 사이에 '지식 격차'가 생겼다.
• 벤치마크에서 모델의 병목은 추론이 아니라 올바른 문서에 접근하지 못하는 검색이라는 점이 드러난다.
• 코딩 에이전트 위주로 학습된 모델은 키워드를 나열하는 어색한 검색어를 써서 의미 기반 검색을 제대로 활용하지 못한다.
• 믹스브레드는 4가지 검색 도구와 짧은 에이전트 루프로 구성된 하네스를 설계해, 에이전트가 상황에 맞는 도구와 자연어 질의를 쓰도록 유도했다.
• 작은 LLM을 지도학습과 강화학습으로 훈련해, 빠르면서도 검색 품질이 높은 검색 에이전트를 만들었다.

쉽게 이해하기

믹스브레드의 한나와 공동창업자 아미르는 'AI에게 제대로 검색하는 법을 가르친' 과정을 소개한다. 발표자는 GPT-3.5에서 최신 모델로 오며 추론 능력이 기하급수적으로 좋아진 반면, 검색은 지난 20년간 매우 느리게 발전했다고 지적한다. 이 둘 사이의 간극을 이들은 '지식 격차(knowledge gap)'라 부른다.

이 격차는 실제 벤치마크로 확인된다. 약 10만 건 문서를 다루는 브라우징 벤치마크 BrowseComp Plus와, 미국 재무 자료를 다루는 Office QA Pro가 예로 쓰인다. 올바른 문서를 넣어줬을 때의 이론적 최대 성능(오라클)은 각각 93%, 64%였지만, 코덱스가 기본 도구로 노이즈가 많은 말뭉치에서 답하면 성능이 각각 9점, 8점 수준으로 급락했다. 병목이 추론이 아니라 지식 접근임을 보여주는 결과다.

반대로 믹스브레드의 검색 도구를 붙이자 성능이 대부분 회복됐다. BrowseComp Plus에서는 오라클과의 차이가 3점에 불과했고, Office QA Pro에서는 격차가 거의 사라졌다. 문제는 모델이 던지는 질의였다. 코딩 에이전트로 학습돼 grep식 정규식·키워드 나열에 익숙하고, 인간의 웹 검색 습관을 흉내 내며, 벤치마크마저 BM25에 유리한 키워드형 질의에 치우쳐 있어, 의미 기반 검색을 제대로 못 쓴다는 것이다.

이를 해결하려고 이들은 자체 검색 에이전트를 만들었다. 하네스는 4가지 도구로 구성된다. 요약만 보여주는 폭넓은 개요 검색(최대 50개 청크), 상위 10개 청크의 전체 내용을 주는 의미 검색, 메타데이터로 걸러내는 필터 도구, 정확한 키워드 매칭용 grep이다. 에이전트 루프는 최대 4번의 검색 라운드로 짧게 두되 각 라운드에서 병렬 검색을 허용하고, 초기 의미 검색 결과와 메타데이터 힌트를 미리 보여줘 탐색을 계획하게 한다.

핵심 요령은 질의 작성 방식이다. '검색어를 써라'가 아니라 '무엇을 찾고 싶은지 한 문장으로 서술하라'고 지시해 모델이 옛 BM25식 키워드 패턴에 빠지지 않게 한다. 훈련은 속도를 위해 작은 LLM을 쓰고, 큰 교사 모델로 지도학습을 한 뒤, 검색 보상(검색 지표 NDCG와 LLM 심사)과 궤적 보상을 결합한 강화학습을 적용했다. 그 결과 한 벤치마크에서 NDCG가 0.4로, 기존 최고 모델의 0.18을 크게 앞섰다고 소개한다.

주요 인사이트

• 모델이 아무리 똑똑해도 올바른 문서를 받지 못하면 성능이 급락한다는 점에서, 병목은 추론이 아니라 검색이라는 재구성이 이 발표의 핵심 통찰이다.
• 모델이 어색한 키워드 질의를 쓰는 이유는 세 가지로 정리된다. 코딩 에이전트용 grep 학습, 인간 웹 검색 패턴 모방, 그리고 BM25에 유리한 벤치마크 편향이다.
• '검색어를 작성하라' 대신 '찾고 싶은 것을 한 문장으로 서술하라'고 프레이밍을 바꾸는 것만으로도 의미 검색에 맞는 자연스러운 질의를 끌어낼 수 있다.
• 검색 보상은 최종 순위의 검색 지표(NDCG)와 LLM 루브릭 심사를, 궤적 보상은 질의가 자연스러운 문장인지·탐색량이 적절한지를 평가해 결합했다.
• 프로덕션 베타 버전(믹스브레드 에이전트 검색)은 스노우플레이크 match QA 벤치마크에서 제미나이 플래시 모델과 결합해 93.4의 정확도로 1위를 기록했다고 한다.

자주 묻는 질문

관련 AI 소식