검색(Retrieval)은 추론 시대에도 필요한가, 마이크로소프트 리서치 패널이 짚은 RAG의 미래

핵심 메시지

• 패널 다수는 검색이 사라지는 것이 아니라 추론 시스템 안으로 '보이지 않게' 들어간다고 봤다.
• 거대 모델의 파라미터 기억은 결국 손실 압축이며, 검색 성능과 추론 성능은 같은 파라미터 공간을 두고 경쟁한다는 지적이 나왔다.
• 법률 판례 검색처럼 정확한 단어 일치가 중요한 분야에서는 여전히 BM25 같은 고전 기법이 대형 언어모델보다 강하다.
• 속도 제약이 걸리는 순간 해시 기반의 고전 검색 알고리즘이 다시 돌아온다는 실무적 관찰도 제시됐다.
• 기업 데이터·실시간 정보처럼 학습에 넣을 수 없는 지식이 존재하는 한 검색은 없어질 수 없다는 결론에 무게가 실렸다.

쉽게 이해하기

마이크로소프트 리서치가 공개한 이 패널 토론은 "검색은 추론의 시대에도 여전히 의미가 있는가"라는 도발적인 질문에서 출발한다. 사회자는 예전에는 탭을 열 개씩 띄워 정보를 스스로 종합했지만, 지금은 많은 사람이 "챗GPT가 대신 읽어주는데 왜 링크 열 개를 클릭하느냐"고 되묻는다는 점을 지적했다. 검색과 추론이 하나의 모델 안에서 뒤섞이면서 각각이 만들어내는 가치의 경계가 흐려졌다는 것이다.

"2년 뒤 검색은 일등 시민인가, 이등 시민인가"라는 첫 질문에 패널들의 답은 갈렸다. 마이크로소프트 쪽 연구자는 "검색은 무대 뒤로 숨을 뿐 중요도는 줄지 않는다"고 답했고, 한 교수는 아예 질문 자체를 거부했다. 검색은 원래부터 사용자의 정보 요구를 채우는 일이었고 추론은 거기에 도달하는 한 가지 방법일 뿐이므로, 둘을 경쟁 관계로 놓는 전제가 틀렸다는 주장이다. 반대로 "최고의 검색은 결국 프런티어 모델 회사 안에서 돌아가게 될 것"이라는 냉정한 전망도 나왔다.

"파라미터 기억은 그냥 압축된 검색 시스템 아닌가, 그러면 그쪽에 투자하면 되지 않나"라는 질문에는 수학적인 반박이 돌아왔다. 문맥 길이와 어휘 크기로 만들어지는 확률 표의 크기를 생각하면 모델이 아무리 커져도 압축은 항상 손실을 동반하며, 그 손실이 곧 환각이라는 것이다. 나아가 이미 아는 것을 정확히 외우는 능력과 모르는 것을 예측하는 능력은 같은 파라미터를 두고 다투기 때문에, 한쪽을 극단으로 밀면 다른 쪽이 무너진다는 지적이 이어졌다.

실무 경험담도 인상적이었다. 법률 분야의 선례 검색에서는 대형 언어모델이 거의 실패하고 BM25가 여전히 매우 강한 기준선으로 남아 있으며, 금융 문서에서도 같은 현상이 관찰된다고 했다. 코드 검색에서도 특정 함수를 찾을 때는 단어 기반 검색이 압도적이지만 "네트워크 작업이 일어나는 파일을 찾아 달라"는 요구에는 의미 기반 검색만 답할 수 있다. 결국 작업의 성격에 따라 필요한 도구가 달라지는 혼합형 접근이 불가피하다는 이야기다.

온라인으로 참여한 연구자는 더 근본적인 우려를 던졌다. 지금의 추론은 사실상 토큰을 생성하는 방식으로만 이뤄지는데, 영상이나 오디오 생성과 달리 텍스트 생성은 작은 오차가 곧 환각이 된다는 것이다. 또한 모델이 언제 검색 결과를 믿고 언제 자기 기억을 쓸지 판단하는 기준이 아직 정립되지 않았고, 사람이 만든 콘텐츠에 대한 보상 구조가 무너지면 생태계 자체가 흔들린다는 문제도 제기됐다.

주요 인사이트

• 검색의 위상 하락은 기술적 문제가 아니라 자원 배분 문제로 먼저 나타난다. 사회자는 "뒤에 숨은 기술"이 되는 순간 연구 예산을 따내기 어려워진다는 현실적인 위험을 반복해서 짚었다.
• "1억 달러를 준다면 검색에, 10억 달러를 준다면 추론에 쓰겠다"는 답변은 두 기술의 비용 구조 차이를 압축해 보여준다. 추론이 다뤄야 할 공간이 훨씬 크기 때문에 적은 예산으로는 검증기와 검색을 다지는 편이 합리적이라는 계산이다.
• 검색된 문서 대신 모델이 만든 문서를 근거로 삼는 방식이 실제 제품에서 쓰이고 있다는 언급도 나왔다. 검색 결과에 잡음이 섞이면 답변 품질이 함께 무너지는 민감성이 그 배경으로 지목됐다.
• 패널 일부는 검색이 오히려 더 어려운 문제일 수 있다고 봤다. 거대한 도서관에서 특정 사실을 수십 밀리초 안에 꺼내오는 일은 사람이 흉내낼 수 없고, 그 규모로 해내는 회사가 세계에 몇 곳뿐이라는 이유에서다.
• 출처 표시와 수익 배분 문제는 웹 콘텐츠의 상당 부분이 기계 생성물이 되는 순간 한 단계 더 꼬인다. 내가 인용한 다섯 문서가 모두 기계가 쓴 것이라면 무엇을 근거로 누구에게 보상할지가 불분명해진다.

자주 묻는 질문

관련 AI 소식