플라톤적 표현 가설 정리: 서로 다른 LLM이 같은 벡터 공간으로 수렴한다는 주장

핵심 메시지

• 서로 다른 회사가 다른 데이터와 구조로 만든 모델들의 신경망을 펼쳐 보면 일부 구성 요소가 겹친다는 관찰이 가설의 출발점이다.
• 모델 규모가 커질수록 벡터 표현이 같은 공간으로 수렴하는 경향이 나타나며, 초기값을 완전히 다르게 주어도 결국 비슷한 값으로 향한다.
• 텍스트만 학습시키는 것보다 이미지·오디오·영상을 함께 학습시킬 때 표현이 더 좋아진다는 점도 근거로 제시된다.
• 발표자는 이 현상의 이유로 여러 과제를 잘하게 되면 일반 지능이 생긴다는 설명, 똑똑해질수록 같은 현실에 동의한다는 설명, 이해가 깊어질수록 표현이 단순해진다는 설명을 든다.
• 가설이 맞다면 벡터 임베딩을 각자 학습할 필요가 사라지고 잘 만들어진 표현을 다른 모델에 그대로 넘겨 쓸 수 있게 된다.

쉽게 이해하기

이 영상은 2400년 전 플라톤의 생각이 오늘날 AI 연구로 검증되고 있다는 흥미로운 주장을 다룬다. 플라톤은 모든 사물에 상위 수준의 표현이 있다고 봤다. 누군가 사과라고 말하면 어떤 사람은 빨간 사과를, 어떤 사람은 껍질을 깎은 사과를 떠올리지만, 그 모두를 사과이게 하는 개념은 물리적 공간이 아니라 정보 공간에 있다는 것이다.

발표자는 이 가설을 뒷받침하는 근거를 네 가지로 정리한다. 첫째, 서로 다른 회사가 다른 이념과 데이터, 다른 구조로 만든 모델들의 신경망을 펼쳐 보면 일부 뉴런과 부분 그래프가 서로 닮아 있다. 둘째, 모델의 파라미터를 30억에서 300억, 다시 그 이상으로 키우면 벡터 표현들이 점점 같은 공간으로 수렴한다. 발표자는 톨스토이를 빌려 작은 모델들은 저마다의 방식으로 어긋나지만 큰 모델들은 같은 현실에 동의한다고 표현한다.

셋째는 여러 종류의 데이터를 함께 쓸 때 표현이 더 좋아진다는 관찰이다. 말을 잘하려면 텍스트만 많이 넣으면 될 것 같지만, 이미지와 오디오, 영상을 함께 학습시킨 모델의 벡터 표현이 더 나아진다. 발표자는 아기에게 소리만 들려주거나 책만 주는 것보다 여러 감각으로 같은 대상을 접하게 할 때 개념을 더 잘 이해하는 것과 같다고 비유한다.

넷째는 모델의 처리 방식이 뇌와 부분적으로 닮았다는 점이다. 입력 문장을 토큰으로 쪼개 벡터로 바꾸는 과정이, 사람이 보고 듣고 읽은 정보를 덩어리로 나눈 뒤 의미로 연결하는 과정과 비슷하다는 것이다. 다만 발표자는 아직 인간의 뇌 근처에도 가지 못했다는 단서를 분명히 단다.

왜 이런 수렴이 일어나는지에 대해서는 세 가지 설명이 제시된다. 여러 과제를 두루 잘하게 되면 그 아래에 일반 지능이 자리 잡는다는 설명, 모델이 커질수록 더 많은 현실을 봤기 때문에 서로 동의하게 된다는 설명, 그리고 무언가를 제대로 이해할수록 설명이 단순해지듯 지식이 쌓일수록 필요한 표현의 수가 줄어든다는 설명이다.

주요 인사이트

• 가장 실용적인 함의는 임베딩의 재사용이다. 표현이 결국 한곳으로 수렴한다면 각 팀이 벡터 임베딩을 처음부터 학습하는 시간이 통째로 사라지고, 잘 만들어진 표현을 넘겨받아 쓰는 방식이 표준이 될 수 있다.
• 멀티모달 학습이 성능을 올리는 이유를 설명하는 틀이기도 하다. 같은 실재를 이미지, 오디오, 영상 등 여러 통로로 보여 주고 하나의 벡터 공간에 사상하는 것이 더 나은 표현으로 이어진다는 관점이다.
• 발표자는 이것이 증명된 이론이 아니라 가설임을 반복해서 강조한다. 규모를 충분히 키우면 오히려 모델별로 표현이 갈라질 가능성도 열어 두며, 과거 과적합 개념이 겪은 반전을 예로 든다.
• 규모가 클수록 동의한다는 설명은 매력적이지만 위험도 있다. 발표자 스스로 이 논리가 계급적으로 들릴 수 있다고 인정하는 대목은, 모델 해석에 인간 사회의 비유를 끌어올 때의 한계를 보여 준다.
• AI가 정보 이론을 검증하는 장이 되면서 역사 속 철학자들의 주장이 참이나 거짓으로 판명될 수 있다는 전망은, 이 분야가 공학을 넘어선 질문과 맞닿아 있음을 보여 준다.

자주 묻는 질문

관련 AI 소식