리처드 서턴 인터뷰 정리: LLM은 막다른 길인가, 경험에서 배우는 강화학습의 반론

핵심 메시지

• 서턴은 LLM이 사람이 무엇을 말할지 흉내 낼 뿐, 다음에 무슨 일이 벌어질지는 예측하지 않기 때문에 진짜 세계 모델을 가진 것이 아니라고 본다.
• 목표가 없으면 무엇이 옳은 행동인지 정의할 수 없고, 정답의 기준이 없으면 사전지식이라는 개념 자체가 성립하지 않는다는 것이 그의 핵심 반론이다.
• 그는 동물의 학습에는 지도학습이나 모방이 근본 과정으로 존재하지 않으며, 예측 학습과 시행착오 제어가 기본이라고 주장한다.
• '쓰라린 교훈'의 저자인 그는 LLM 역시 인간 지식을 대량으로 밀어 넣은 방식이므로, 경험에서 데이터를 얻는 방식에 결국 자리를 내줄 것이라고 예상한다.
• 그는 디지털 지능으로의 계승이 불가피하다는 4단계 논증을 제시하면서도, 이를 복제의 시대에서 설계의 시대로 넘어가는 우주적 전환으로 긍정적으로 볼 수 있다고 말한다.

쉽게 이해하기

대담 상대는 TD 학습과 정책 경사법을 만든 강화학습의 창시자 리처드 서턴이다. 진행자가 'LLM은 인터넷 텍스트를 흉내 내려면 세계 모델을 갖춰야 하지 않느냐'고 묻자, 서턴은 대부분 동의하지 않는다고 잘라 말한다. 사람의 말을 흉내 내는 것은 세계 모델을 만드는 일이 아니라, 세계 모델을 가진 존재를 흉내 내는 일이라는 것이다.

그가 보는 세계 모델의 조건은 무슨 일이 일어날지 예측하고, 예상과 다르면 놀라서 스스로를 고치는 것이다. LLM은 사용자가 무슨 말을 할지 물으면 답은 하지만, 실제로 벌어진 일에 놀라 자신을 바꾸지는 않는다고 그는 지적한다. 다음 토큰 예측도 세상이 돌려주는 반응이 아니라 자신이 무엇을 말할지에 대한 예측이므로 진짜 목표가 아니라고 본다.

논쟁의 축은 모방이 좋은 출발점인가로 옮겨간다. 진행자는 아이도 처음에는 모방으로 배운다고 하지만, 서턴은 아이가 눈을 굴리고 손을 휘젓는 행동에는 따라 할 본보기가 없다고 반박한다. 그는 심리학이 말하는 동물의 기본 학습 과정에 모방이라는 항목은 없으며, 다람쥐는 학교에 가지 않고도 세상을 배운다고 말한다. 물개 사냥처럼 여러 세대에 걸쳐 쌓인 기술이 모방으로 전수된다는 점은 인정하되, 그것을 기본 학습 위에 얹힌 얇은 층으로 본다.

그는 자신이 말하는 경험 패러다임을 이렇게 정리한다. 감각·행동·보상이 평생 이어지는 하나의 흐름이고, 지능이란 그 흐름을 바꿔 보상을 늘리는 일이며, 지식이란 그 흐름에 관한 진술이다. 흐름에 관한 진술이기에 흐름과 대조해 검증할 수 있고, 10년짜리 목표는 TD 학습의 가치 함수로 중간 진전을 보상으로 바꿔 다룬다. 사람이 새 직장에서 쓸모 있어지는 이유도 미리 알려줄 수 없는 그 자리만의 사정을 겪으며 배우기 때문인데, 세상이 워낙 커서 결국 살아가며 배울 수밖에 없다는 것이 그의 논거다.

그는 일반화가 저절로 좋아지지 않는다고도 강조한다. 경사하강법은 주어진 문제를 풀게 할 뿐이며, 새것을 배우면 옛것을 파괴적으로 잊는 현상이 나쁜 일반화의 증거라는 것이다. 대화 후반의 계승 논의에서는 인류를 대표하는 통일된 의사결정 주체가 없고, 지능의 원리는 결국 밝혀질 것이며, 인간 수준에서 멈추지 않을 것이고, 가장 지능적인 존재가 자원과 힘을 얻는 흐름은 불가피하다는 네 단계를 제시한다. 다만 복제한 자아가 밖에서 배운 것을 그대로 받아들이면 숨은 목표나 오염된 정보에 잠식될 수 있어 디지털 지능 시대의 보안이 큰 문제가 되리라는 경고도 덧붙인다.

주요 인사이트

• 서턴의 반론은 성능 논쟁이 아니라 정의 논쟁에 가깝다. 그는 '무엇이 옳은 행동인가'를 정의할 수 있느냐를 기준으로 삼고, 그 기준이 없는 체계에는 사전지식도 지속 학습도 성립하지 않는다고 본다.
• 대담자는 수학 올림피아드 성적을 일반화의 증거로 들지만, 서턴은 정답이 하나뿐인 문제를 푸는 것은 일반화가 아니라고 답한다. 여러 방식이 가능한데 그중 좋은 쪽을 택할 때가 일반화라는 구분이다.
• 그는 LLM이 과학의 도구로는 부적절하다고도 말한다. 무엇을 먹였는지 알 수 없을 만큼 방대한 사전 학습 탓에 통제된 비교가 불가능하다는 이유다.
• '쓰라린 교훈'을 LLM 확장의 근거로 쓰는 해석과 정면으로 갈린다. 서턴은 인간 지식을 넣는 방식이 늘 처음엔 잘 통했지만 결국 확장 가능한 방법에 밀렸다는 점을 강조한다.
• 그는 자신을 반골이 아니라 고전주의자라고 부른다. 자기 분야의 유행 대신 오랜 시간 마음을 연구해 온 전통과 견주어 생각한다는 태도다.

자주 묻는 질문

관련 AI 소식