언어모델 세계 모형 검증: MIT 선형 탐침 실험이 밝혀낸 내부 상태 표현과 그 한계

핵심 메시지

• MIT 제이컵 안드레아스 연구팀은 언어모델이 문장의 표면 통계만 흉내 내는지, 아니면 글이 묘사하는 상황의 상태를 내부에 표현하는지를 실험으로 확인했다.
• 모델을 얼린 채 아주 단순한 선형 '탐침'만 학습시켜도, 액체를 옮겨 담는 알케미 과제에서 약 75%, 텍스트 어드벤처 과제에서 95% 이상 사물의 상태를 복원할 수 있었다.
• 탐침이 찾아낸 방향을 표현에 더하고 빼면 생성 결과가 실제로 달라져, 이 내부 표현이 단순한 상관관계가 아니라 모델 행동에 관여한다는 점이 드러났다.
• 반면 회사 CEO나 유명인의 부모처럼 모델이 분명히 아는 지식인데도 선형으로는 읽히지 않는 관계가 많았고, 공간 관계 추론은 최신 모델도 여전히 어려워했다.
• 안드레아스는 세계 모형을 있다·없다의 이분법이 아니라 지도에서 태양계 모형, 물리 시뮬레이션으로 이어지는 스펙트럼으로 보자고 제안했다.

쉽게 이해하기

강연은 2020년 GPT-3에 넣었던 짧은 이야기 하나에서 출발한다. 재닛과 페니가 잭에게 줄 선물을 사러 가는 장면에서 모델은 주제를 유지하고 다음에 말할 사람까지 맞히지만, 정작 내용은 '팽이가 이미 있으니 사지 말라'는 말 뒤에 다시 팽이를 사겠다는 모순으로 이어졌다. 문장은 그럴듯한데 상황은 말이 되지 않는 이 간극이, 모델 안에서 무슨 일이 벌어지는지 묻게 만든 출발점이다.

안드레아스는 언어학의 동적 의미론에서 실마리를 빌려온다. 문장 하나하나를 '세계의 상태를 갱신하는 명령'으로 보고, 등장하는 사물과 그 속성·관계를 그래프 형태의 정보 상태로 적어 두는 방식이다. 이런 표현이 있으면 다음에 무엇을 언급할 수 있는지, 어떤 일이 일어날 수 있는지를 쉽게 따져볼 수 있어 텍스트 생성에도 유용하다. 문제는 신경망 안에 이런 그래프를 그대로 넣을 자리가 없다는 점이고, 그래서 연구팀은 그것이 벡터 속에 '어설프게라도' 담겨 있는지를 확인하기로 했다.

방법은 탐침이다. 큰 언어모델의 파라미터는 그대로 얼려 두고, 내부 표현에서 '문이 잠겨 있다' 같은 명제 하나하나를 읽어내는 아주 작은 선형 분류기만 따로 학습시킨다. 학습되는 것이 행렬 하나뿐이라는 점이 중요한데, 복잡한 신경망을 붙이면 그 신경망이 스스로 의미를 계산해버려 증거가 되지 못하기 때문이다. 색 액체가 든 비커를 옮기고 섞는 알케미 과제에서는 사물별 상태를 약 75~76%, 방을 돌아다니며 문을 여닫는 텍스트 어드벤처에서는 95~97% 복원했고, 다만 '아무것도 변하지 않는다'고 가정하는 단순 기준선도 알케미에서 63%를 얻는다는 점은 함께 감안해야 한다.

읽어낼 수 있다는 것만으로는 부족해서 개입 실험이 이어진다. 서로 다른 두 문서에서 각각 첫 번째 비커와 두 번째 비커의 표현만 떼어 이어 붙이면, 실제로는 어떤 입력으로도 만들 수 없는 상태인데도 모델은 그 합성된 상태에 맞는 문장을 생성했다. 같은 도구로 환각도 미리 짚어낼 수 있었는데, 변호사 업무가 잔뜩 적힌 소개문 뒤에서는 '변호사'가 가장 높은 점수를 받은 반면, 어떤 배경을 붙여도 특정 이름을 계속 간호사로 예측하는 편향도 그대로 보였다. 표현을 직접 편집해 순다르 피차이를 애플 임원으로 만들 수도 있었고, 흥미롭게도 '그는 애플에서 일한다'는 문장을 프롬프트로 넣었을 때는 실패하던 조작이 표현 수정으로는 통했다.

그러나 강연의 후반부는 오히려 한계를 길게 다룬다. 모델 자체를 1차 근사한 행렬로 관계를 읽어보면 형용사 비교급이나 국가별 최대 도시처럼 선형으로 깔끔하게 읽히는 관계가 있는 반면, 회사 CEO나 유명인의 부모, 포켓몬 진화처럼 모델이 잘 대답하면서도 선형으로는 잡히지 않는 관계가 있었다. 탐침이 읽어낸 답과 모델이 실제로 내놓는 답이 서로 어긋나는 사례도 많았고, 어려운 상태 추적 과제는 코드가 학습 데이터에 포함된 모델에서만 잘 풀렸다. 안드레아스는 마지막으로 태양계 지도, 크랭크를 돌려 움직이는 오러리, 본격적인 다체 시뮬레이션을 나란히 놓고, 오늘의 언어모델은 지도와 오러리 사이 어딘가에 있다고 정리했다.

주요 인사이트

• 탐침을 일부러 선형으로 제한한 것이 이 실험의 핵심이다. 복잡한 디코더를 붙이면 그 디코더가 문서를 해석해 상태를 만들어낸 것인지, 모델이 이미 갖고 있던 것을 번역했을 뿐인지 구분할 수 없기 때문이다.
• 학습 없이 항등행렬을 탐침으로 써도 꽤 잘 작동했다는 결과는, 개체의 표현이 그 개체에 대해 알려진 사실들의 합처럼 쌓여 있음을 시사한다.
• 프롬프트로 아무리 설명해도 배경지식이 문맥을 눌러버리는 경우에도 표현 편집은 통했다. 다만 편집은 국소적이어서, 구글 쪽 표현은 그대로 남아 세계 전체의 일관성은 깨진다.
• 편집은 외과수술처럼 정밀하지 않다. 포크가 나무를 자르는 도구라고 바꾸자 위험하다·자르는 데 쓴다 같은 속성까지 함께 올라갔고, 어떤 편집은 아예 실패했다.
• 피아노와 사람의 위치처럼 머릿속에서 장면을 돌려봐야 하는 공간 관계 문제는 사회적 상황을 묻는 문제보다 훨씬 어려웠고, 최신 모델에서도 여전히 낮은 성적이 나왔다.

자주 묻는 질문

관련 AI 소식