AI 해석가능성 연구: 신경망 내부의 세계 모형과 지능의 기초 과학이 필요한 이유

핵심 메시지

• 가속론자와 파멸론자가 계속 엇갈리는 이유는 서로 가리킬 수 있는 검증된 사실이 없기 때문이다.
• AGI가 새로운 도구인지 새로운 종에 가까운지, 지능과 욕구를 분리할 수 있는지가 핵심 질문으로 제시됐다.
• 언어 모델은 '생성'이 아니라 '예측'을 학습하며, 예측을 잘하려면 세계를 이해해야 한다는 점에서 과제 자체가 더 어렵다.
• 단순한 실험 환경에서 모델 내부에는 세계 모형과 베이즈식 믿음 갱신에 해당하는 구조가 실제로 형성된다.
• 이해에 대한 투자는 능력 개발 투자에 비해 턱없이 적으며, 그 격차를 좁혀야 신뢰할 수 있는 배포가 가능하다.

쉽게 이해하기

물리학을 하다 AI 해석가능성으로 방향을 튼 폴 리처스(Paul Riechers)는 컨퍼런스 강연에서 지금의 AI 논쟁이 왜 평행선을 달리는지부터 짚었다. 한쪽은 "기술은 늘 있었고 이번에도 잘 넘길 것"이라고 보고, 다른 쪽은 "이건 기술이 아니라 새로운 종에 가깝다"고 본다. 그는 양쪽 모두 강한 감정은 있는데 함께 가리킬 진실이 없다는 점이 문제라고 말한다. 이해가 쌓여야 대화의 수준이 올라간다는 것이다.

그의 첫 번째 관찰은 담백하다. 인간은 권리와 보호를 받을 자격이 있는 존재지만, 물리적으로 보면 환경 압력과 우연이 쌓여 지능을 겨우 짜낸 물질 덩어리에 지나지 않는다. 지능이 목표가 아니었는데도 생겨났다는 뜻이다. 그렇다면 인간은 물리적 시스템이 지능을 가질 수 있다는 증명 사례일 뿐이며, 의도적으로 만든 지능이 인간을 뛰어넘지 못할 이유가 없다. 동시에 인간은 물리적 시스템이 '가치 있고, 호기심 많고, 잔인하고, 다정할' 수 있다는 증명 사례이기도 하다. 그래서 그는 이 속성들 가운데 무엇을 서로 떼어낼 수 있는지가 중요한 질문이라고 본다.

정렬(alignment) 논의에 대해서도 그는 한 단계 앞선 전제를 요구한다. 인간의 가치에 맞춘다고 할 때 누구의 가치인지도 문제지만, 그보다 먼저 개념의 정렬이 필요하다는 것이다. 모델이 세계를 인간과 같은 방식으로 표상하지 않는다면 같은 것을 이야기하고 같은 것을 우선한다고 말할 수 없기 때문이다. 그래서 그가 이끄는 연구 조직 심플렉스(Simplex)는 모델이 세계를 어떻게 표상하는지를 파고든다.

흥미로운 지점은 다음 토큰 예측에 대한 그의 해석이다. 이름은 생성형 사전학습 트랜스포머지만 실제 훈련 목표는 생성이 아니라 예측이며, 예측을 잘하려면 세계를 이해해야 하므로 과제 자체가 더 어렵다는 것이다. 그는 과거로부터 미래를 예측하는 자기지도 학습이 사실상 끝이 없는 지식의 원천이라고 봤다. 실험에서도 데이터의 출처가 되는 숨은 구조를 알고 있는 상황을 만들어 모델을 훈련시키면, 모델은 세계 모형을 만들 뿐 아니라 맥락 속 관측이 쌓일수록 베이즈식으로 믿음을 갱신하는 행동을 보인다.

표상 수준에서도 결과가 나왔다. 단순한 은닉 마르코프 모델로 데이터를 만들어 훈련하면 트랜스포머의 잔차 스트림 안에 예상했던 프랙탈 형태의 기하 구조가 학습 과정에서 선형적으로 떠오른다. 더 놀라운 것은 이 기하가 트랜스포머와 순환 신경망처럼 구조가 전혀 다른 모델에서도 동일하게 나타난다는 점이다. 또한 모델은 세계를 여러 부분으로 쪼개어 표상하는데, 낮은 차원으로 표현할수록 지수적인 이점이 있기 때문이다. 그는 이것이 해석가능성 연구에 희망을 준다고 말한다. 전부를 한 번에 이해하지 않아도 해석 가능한 부분 공간을 찾고 그것들이 어떻게 결합하는지 볼 수 있기 때문이다.

주요 인사이트

• "무엇을 찾고 있는지 그 유형조차 모른다면 해석가능성 연구는 성립하기 어렵다"는 지적은 기초 과학 투자의 필요성을 잘 요약한다.
• 모델 내부의 계산이 숨겨진 불리언 회로보다는 실수 벡터 공간을 활용하는 방식에 가깝다는 관찰은, 기존의 회로 탐색식 접근만으로는 부족할 수 있음을 시사한다.
• 환원주의가 취향의 문제가 아니라 표상 차원의 수학적 이점에서 비롯된다는 설명은 모델이 왜 세계를 부분으로 나누는지를 설명해준다.
• 자율성과 선호(valence)를 가진 시스템은 스스로를 지속시키려는 경향이 생기고, 한 번 정렬해두어도 다시 자기 우선순위를 재평가할 수 있다는 우려가 제기됐다.
• 발표자는 기초 이해 연구를 지원하는 기관들이 존재한다는 점은 다행이지만, 능력 개발에 투입되는 규모에 비하면 부끄러울 만큼 적다고 평가했다.

자주 묻는 질문

관련 AI 소식