임베딩 기반 검색의 이론적 한계: 사인랭크가 말하는 벡터 차원의 벽과 RAG 실무 시사점

핵심 메시지

• 논문은 하나의 벡터로 문서를 표현하는 임베딩 검색이 임의의 문서 조합을 정확히 골라낼 수 없다는 사실을 수학적으로 증명한다.
• 필요한 임베딩 차원은 질의-문서 관련도 행렬의 '사인랭크(sign rank)'와 연결되며, 표현해야 할 관계가 복잡할수록 더 큰 차원이 필요하다.
• 연구진은 임베딩 벡터를 경사하강법으로 직접 최적화하는 실험으로 차원별 임계점을 측정했고, 결과가 이론적 예측과 맞아떨어졌다.
• 해설자는 이 한계가 '무작위 조합'을 가정할 때만 성립하므로 실제 검색 서비스에 주는 실질적 영향은 크지 않다고 본다.
• 임베딩 차원이 1,000 정도면 임계 규모가 수백만 개 수준이라, 현실적인 데이터 크기에서는 여유가 상당하다는 점도 드러났다.

쉽게 이해하기

검색은 오랫동안 색인(index)을 만드는 문제였다. 문서에 어떤 단어가 들어 있는지 뒤집어 기록해 두고, 질의어가 들어오면 해당 단어가 등장한 문서 목록의 교집합을 찾는 방식이다. 'Paris'가 담긴 문서와 'metro'가 담긴 문서를 각각 찾아 겹치는 문서를 돌려주는 식으로, BM25 같은 고전적 순위 함수가 여기에 붙는다.

요즘 널리 쓰이는 방식은 다르다. 문서와 질의를 신경망에 넣어 각각 벡터로 바꾼 뒤, 벡터끼리의 내적이나 코사인 유사도가 큰 문서를 가져온다. 해설자는 사실 고전적 색인도 어휘 크기만큼의 차원을 가진 벡터 표현으로 볼 수 있고, 차이는 그 벡터가 대부분 0인 희소(sparse) 표현이냐 값이 촘촘히 찬 밀집(dense) 표현이냐일 뿐이라고 정리한다.

논문이 던지는 질문은 이것이다. 어떤 질의가 들어와도 관련 문서를 관련 없는 문서보다 항상 위에 올릴 수 있는 임베딩이 존재하는가? 답은 '차원이 충분하지 않으면 불가능하다'이다. 논문은 관련도를 0/1로 채운 행렬과 검색 엔진이 내놓는 점수 행렬의 부호가 일치해야 한다는 조건을 사인랭크 개념과 연결해, 특정 차원 d로는 결코 표현할 수 없는 관련도 패턴이 존재함을 보인다.

실험은 이론을 검증하는 방식으로 설계됐다. 연구진은 사람 이름과 각자 좋아하는 항목을 임의로 짝지은 인공 데이터를 만든 뒤, 학습된 임베딩 모델을 쓰는 대신 벡터 자체를 경사하강법으로 직접 최적화했다. 사실상 정답 집합에 과적합시키는 셈인데도 데이터 규모가 커지면 어느 지점부터는 표현이 실패했고, 그 임계점이 이론적 예측과 일치했다.

해설자의 반론은 분명하다. 이 결과는 '임의의 조합'을 검색해야 한다는 가정 위에 서 있는데, 현실의 데이터와 사용자 질의는 무작위가 아니라는 것이다. 기계학습은 세상에 구조가 있다는 전제 위에서 그 구조를 배워 압축된 표현을 얻고, 그 대가로 임의 조합을 표현할 자유를 포기한다. 임의 조합까지 원한다면 원본을 그대로 저장하는 고전 색인을 쓰면 된다는 지적이다.

주요 인사이트

• 이 한계는 임베딩 모델의 결함이라기보다 압축의 필연적 대가다. 차원을 줄여 일반화를 얻는 순간 표현할 수 있는 조합의 수도 함께 줄어든다.
• 숫자만 보면 오히려 안심되는 면도 있다. 차원이 1,000 수준이면 임계 규모가 수백만 개에 이르러, 적대적으로 설계된 최악의 데이터에서도 그 정도까지는 정확히 표현할 수 있다는 뜻이다.
• 논문이 만든 인공 데이터에서 기존 임베딩 모델의 성능이 나쁜 것은 예견된 결과이고, 학습 데이터로 미세조정해도 나아지지 않았다. 해설자는 이를 도메인 차이가 아니라 문제 설정 자체의 특성으로 본다.
• 실무적 교훈은 따로 있다. 논리 연산이나 추론이 필요한 질의, 즉 '이건 포함하고 저건 제외' 같은 요구는 벡터 유사도만으로 풀기 어렵다. 임베딩 검색만으로 모든 검색 문제를 덮으려는 접근이 초심자의 전형적 실수라는 지적이다.
• 논문은 다중 벡터 모델이나 오차를 허용하는 경우를 후속 과제로 남겼는데, 해설자는 결론이 크게 달라지지 않을 것이라고 본다. 결국 다룰 수 있는 숫자의 개수가 표현력을 결정하기 때문이다.

자주 묻는 질문

관련 AI 소식