검색 AI 연구 두 갈래 — 하드 네거티브 배치 구성 HOBIT와 다중 문서 협력 검색 색인

핵심 메시지

• 대조 학습으로 검색 모델을 훈련할 때 배치를 무작위로 구성하면 학습 신호가 빠르게 사라진다.
• HOBIT는 별도의 색인 없이 배치 구성만 바꿔 서로가 서로의 어려운 오답이 되도록 만든다.
• 좋은 오답은 질의와 비슷하면서도 정답 문서와는 겹치지 않아야 하는데, 기존 연구는 이 두 번째 조건을 놓쳤다.
• 질문 하나에 여러 문서가 나눠 답하는 경우, 문서를 개별 점수로 줄 세우는 검색은 원리적으로 실패한다.
• 문서를 경쟁자가 아닌 연합으로 보고 집합 단위 커버리지를 최적화하면 다중 홉 질의에서 필요한 문서를 훨씬 앞 순위에 모을 수 있다.

쉽게 이해하기

마이크로소프트 리서치 인도의 학술 연구 서밋 검색 세션에서 두 편의 발표가 이어졌다. 앞선 발표는 마이크로소프트 리서치의 로케시 나갈라파티가 소개한 HOBIT으로, 검색용 인코더를 대조 학습으로 훈련할 때 미니 배치를 어떻게 구성할지에 대한 연구다. 뒤이어 소우멘 차크라바르티 교수가 여러 문서가 협력해 하나의 질문을 덮는 검색을 위한 밀집 색인 연구를 발표했다.

첫 발표의 문제의식은 단순하다. 검색 모델은 질의와 문서를 같은 벡터 공간에 넣고 유사도가 큰 문서를 정답으로 학습하는데, 실제로는 전체 문서 집합이 아니라 같은 배치 안의 문서들만 비교 대상으로 삼는다. 이때 배치를 무작위로 뽑으면 정답과 나머지를 구분하는 일이 너무 쉬워 손실값이 금방 0에 가까워지고, 겉으로는 학습이 잘된 듯 보이지만 실제 검색 정확도는 떨어진다. 반대로 어려운 오답이 섞인 배치는 손실값이 높게 유지되면서도 시험 성능은 크게 앞선다.

기존 방식은 훈련 도중 전체 문서에서 어려운 오답을 직접 찾아오는 것이었지만, 모델이 바뀌면 임베딩도 움직이므로 검색 색인을 계속 다시 만들어야 한다. HOBIT는 탐색 범위를 학습 데이터 쌍으로 좁혀 이 부담을 없앤다. 여기서 어려움은 질의와의 유사도에서 정답 문서와의 유사도를 일정 비율로 뺀 점수로 정의한다. 발표자는 기존 연구가 질의와의 유사도만 보고 정답과 겹치는지를 무시했다는 점을 문제로 지목했다. 정답과 가까운 문서를 오답으로 뽑으면 사실은 정답인 문서를 오답으로 학습시키는 셈이 되기 때문이다.

배치 구성 자체는 계산이 어려운 조합 문제라서, 최댓값을 부드러운 형태로 바꿔 근사한다. 이렇게 하면 목표 함수가 단조·서브모듈러 성질을 가져 그리디 방식으로 배치를 채워 나갈 수 있다. 매 단계마다 임베딩을 새로 계산하는 부담을 줄인 변형도 함께 제안했는데, 정확도는 조금 낮지만 효율이 크게 좋아져 실무에서는 이 변형을 권했다. 새로 도입한 하이퍼파라미터 세 개는 기본값 그대로 여러 데이터셋에서 통했다고 밝혔다.

두 번째 발표는 다른 종류의 한계를 다룬다. '어떤 영화의 작곡가가 태어난 날'처럼 한 문서가 작곡가를, 다른 문서가 생년월일을 가진 질문은 문서를 개별 점수로 줄 세우는 검색으로는 두 문서를 모두 앞 순위에 올리기 어렵다. 순위를 늘리면 비슷한 문서만 중복될 뿐이고, 표에서 정보를 찾는 경우에도 표 전체는 질문과 겹치는 부분이 적고 셀 하나는 질문 전체를 덮지 못한다. 연구팀은 문서들이 서로 죽이는 검투사가 아니라 연합이 되어야 한다고 표현하며, 부분집합이 질의를 얼마나 덮는지를 목적 함수로 삼았다.

문제는 이 목적 함수를 색인으로 다룰 방법이다. 이미 뽑은 문서들이 덮은 부분을 빼야 하는데, 색인은 한 번 만들면 고정이라 진행 중 상태를 담을 수 없다. 연구팀은 문서 벡터에 상수 항을, 질의 벡터에는 지금까지의 커버리지 값을 각각 한 칸씩 덧붙여 내적만으로 차이가 계산되게 만들었고, 남은 관문인 음수 절단은 무작위 방향 벡터를 이용한 해시 기법으로 근사했다. 실험에서는 완전 탐색에 가까운 품질을 유지하면서 처리량을 약 100배로 끌어올렸고, 두 문서를 모두 찾아야 답할 수 있는 다중 홉 질의응답 데이터셋에서 필요한 문서를 앞쪽 소수 순위 안에 모았다.

주요 인사이트

• 손실값이 빨리 떨어지는 학습은 좋은 신호가 아니다. 첫 발표의 실험에서 무작위 배치는 손실이 금방 0에 수렴했지만 검색 정확도는 어려운 배치를 쓴 쪽에 크게 뒤졌다.
• 어려운 오답을 고를 때 정답 문서와 멀리 떨어뜨리는 조건은 사실상 오탐 방어 장치다. 질의와의 유사도만 보고 뽑으면 라벨이 없을 뿐 실제로는 정답인 문서를 오답으로 학습할 위험이 커진다.
• 탐색 공간을 전체 말뭉치에서 학습 쌍으로 좁히는 것만으로 실무 적용 가능성이 달라진다. 수백만 문서에 색인을 유지하는 대신 수십만 개 학습 쌍의 순서를 바꾸는 문제로 환원한 것이 HOBIT의 핵심이다.
• 질의 분해와 협력 검색은 경쟁 관계가 아니라 상황에 따라 선택할 문제다. 발표자는 지식 그래프처럼 구조가 단순한 경우엔 질의를 쪼개는 편이 낫지만, 사내 데이터베이스처럼 낯선 스키마에서는 분해 자체가 어려워진다고 답했다.
• 두 발표 모두 그리디 선택이 통하는 이유는 목적 함수가 서브모듈러라는 성질에 있다. 조합 최적화 문제를 그대로 풀지 않고 성질을 확보해 근사하는 접근이 검색 시스템 설계에서 반복적으로 쓰인다.

자주 묻는 질문

관련 AI 소식