플라토닉 표상 가설 정리: 비전 모델과 언어 모델이 같은 세계 표상으로 수렴하는 이유와 근거

핵심 메시지

• 장면 분류기와 색 복원 모델처럼 목적이 전혀 다른 신경망도 개 얼굴·새 같은 동일한 내부 검출기를 학습한다.
• 성능이 좋은 비전 모델일수록 서로의 표상이 닮아 있고, 성능이 낮은 모델들은 제각각 다른 방식으로 어긋나 있다.
• 이미지를 한 장도 보지 않은 언어 모델이라도 성능이 올라갈수록 비전 모델의 거리 구조와 더 비슷해진다.
• 수렴을 밀어붙이는 힘은 과제 수 증가, 모델 규모 확대, 단순한 해를 선호하는 정규화라는 세 가지로 설명된다.
• 언어로 옮길 수 없는 감각 경험처럼 모달리티 간 정보가 어긋나는 지점은 이 가설의 분명한 한계로 남는다.

쉽게 이해하기

MIT의 필립 아이솔라 교수는 ICML에 낸 포지션 논문을 바탕으로 '플라토닉 표상 가설'을 설명했다. 서로 다른 구조와 데이터, 서로 다른 최적화 방법으로 학습한 신경망들이 결국 세계를 표현하는 하나의 방식으로 수렴해 간다는 주장이다. 그는 이 주장이 확정된 사실이 아니라 논쟁을 부르기 위한 가설임을 여러 차례 강조했다.

출발점은 오래된 관찰이다. 장면을 분류하도록 학습한 신경망 안에서 개 얼굴이나 특정 새에 반응하는 뉴런이 저절로 생겨났고, 흑백 사진에 색을 입히도록 학습한 전혀 다른 목적의 모델에서도 똑같은 종류의 검출기가 나타났다. 여러 모델에 공통으로 등장하는 이런 뉴런을 서로 다른 언어를 잇는 로제타석에 빗대 부르는 연구도 있었다.

강연에서 사용한 측정 도구는 커널이다. 모델이 두 입력을 얼마나 비슷하다고 판단하는지를 모아 만든 행렬을 커널이라 부르고, 두 모델의 커널이 얼마나 겹치는지를 비교한다. 아이솔라 연구팀은 특히 한 데이터 포인트의 최근접 이웃 집합이 두 모델 사이에서 얼마나 공유되는지를 지표로 삼았다. 이 방식은 임베딩 차원 수나 구조 차이를 지워 버리기 때문에 서로 다른 모델을 같은 잣대로 볼 수 있다.

실험 결과는 두 갈래다. 먼저 여러 비전 과제 성능으로 모델을 묶어 보면, 잘하는 모델끼리는 표상이 서로 비슷하고 못하는 모델들은 각자 다른 방향으로 흩어져 있었다. 더 놀라운 쪽은 모달리티를 넘어선 비교였다. 이미지와 캡션 쌍을 이용해 언어 모델의 커널과 비전 모델의 커널을 맞대어 보니, 언어 모델의 다음 토큰 예측 성능이 좋아질수록 비전 모델과의 정렬 점수가 함께 올라갔다.

왜 이런 일이 벌어지는가에 대해 그는 세 가지 설명을 들었다. 풀어야 할 과제와 데이터가 늘어날수록 조건을 모두 만족하는 함수의 공간이 좁아지고, 모델이 커질수록 두 가설 공간이 진짜 최적해에서 겹칠 가능성이 커지며, 단순한 해를 선호하는 정규화가 남은 자유도를 한 방향으로 몰아간다는 것이다. 그 위에 그는 플라톤의 동굴 비유를 얹었다. 사진도 문장도 소리도 같은 하나의 세계를 서로 다르게 투영한 그림자이므로, 그 그림자에서 학습한 표상들이 닮는 것은 자연스럽다는 이야기다.

주요 인사이트

• 표상을 파라미터가 아니라 '거리 재는 방식'으로 정의하면 구조도 크기도 다른 모델을 같은 자로 비교할 수 있게 된다. 아이솔라 연구팀이 커널 비교를 택한 이유가 여기에 있다.
• 성능이 높은 모델끼리 표상이 닮는다는 결과는 뒤집어 보면 실패한 모델은 저마다의 방식으로 실패한다는 뜻이다. 강연에서도 이 대비를 문학 작품의 첫 문장에 빗대 설명했다.
• 언어만 학습한 모델과 이미지만 학습한 모델의 정렬이 성능과 함께 올라간다는 관찰은, 언어 모델이 문법이 아니라 세계에 관한 구조를 배우고 있다는 주장에 힘을 싣는다.
• 가설이 맞다면 모달리티 사이의 번역에 필요한 짝지어진 데이터가 훨씬 적어도 된다. 이미 표상은 공유돼 있고 그 표상으로 가는 길만 새로 배우면 되기 때문이다.
• 강연자는 자신들이 고른 최근접 이웃 지표에서만 추세가 선명하게 보인다는 점을 스스로 한계로 인정했다. 지표 선택이 결론을 만들었을 가능성을 배제하지 않은 것이다.

자주 묻는 질문

관련 AI 소식