리치 서튼 인터뷰 정리: 강화학습의 역사와 시간차 학습, 표현 학습이라는 미해결 과제

핵심 메시지

• 서튼은 강화학습을 '시행착오를 통해 목표를 달성하는 법을 배우는 것'이라는 한 문장으로 정의한다.
• 머신러닝은 처음에 보상과 벌을 다루는 강화학습에 가까웠지만, 형식화되는 과정에서 지도학습 중심의 패턴 인식으로 굳어지며 보상과의 연결이 끊겼다.
• 시간차 학습은 동물이 먹이보다 먹이가 오기 직전의 신호에 먼저 반응한다는 관찰에서 출발했고, 예측이 시간에 따라 변한 크기 자체를 오차로 삼는다.
• 서튼은 딥러닝이 훈련 데이터를 담아내는 표현은 찾지만 '이후의 학습에 좋은' 표현은 찾지 못한다고 지적하며, 이것이 여전히 최우선 미해결 과제라고 말한다.
• 그는 AI를 둘러싼 거대한 산업 자본이 과학의 언어와 방향을 왜곡하고 있다고 보면서도, 결국 학습과 지능의 원리를 이해하게 될 것이라고 전망한다.

쉽게 이해하기

이 인터뷰는 톰 미첼이 진행하는 머신러닝 역사 시리즈의 한 회차로, 2024년 앤드루 바토와 함께 튜링상을 받은 리치 서튼이 출연한다. 진행자는 먼저 지도학습과 강화학습의 차이를 설명한다. 지도학습은 매 상황마다 정답을 알려주는 교사가 있다고 가정하지만, 강화학습에는 교사가 없다. 게임을 끝까지 두고 나서야 이겼는지 졌는지를 알게 되고, 그 보상은 문제의 수를 두던 시점에서 한참 떨어져 있다.

서튼은 강화학습의 역사가 되돌아온 길이라고 설명한다. 1950년대 머신러닝이 처음 연구될 때는 시행착오와 보상·벌에서 배우는 것이 자연스러운 출발점이었지만, 문제가 명확하게 정의되면서 패턴 인식과 지도학습이 주류가 되고 보상과의 연결은 잊혔다. 해리 클로프가 무언가 빠졌다는 점을 지적했고, 심리학에서 동물의 학습을 공부하던 서튼과 바토가 그 문제의식을 이어받아 1980년대에 이 영역을 다시 세웠으며 1998년 책으로 정리했다. 서튼은 튜링이 1947년 강연에서 이미 '경험으로부터 배우는 기계'를 이야기했다는 점도 언급한다.

본인이 가장 잘한 일로 꼽는 시간차 학습의 착상은 동물 실험에서 왔다. 먹이를 얻으려 레버를 누르는 동물은 먹이 자체보다, 먹이가 나오기 직전 장치가 내는 소리에 먼저 반응하게 된다. 좋은 일이 온다는 단서 자체가 보상이 되는 이 현상을 심리학은 이차 강화라 부른다. 시간차 학습은 여기서 출발해, 보상이 오리라는 예측이 시간에 따라 변한 그 차이를 학습 오차로 삼는다. 실제 성과로는 1992년 제리 테사우로의 TD-Gammon이 첫 사례였고, 이후 AlphaGo와 사람의 기보 없이 학습한 AlphaZero로 이어졌다.

가장 인상적인 대목은 서튼이 꼽는 미해결 문제다. 그는 딥러닝이 표현을 학습한다는 통념에 선을 긋는다. 신경망은 훈련 데이터를 모두 맞힐 수 있는 표현은 찾아내지만, 새 데이터가 들어왔을 때 어느 부분을 고쳐야 할지 제대로 짚어주는 표현은 찾지 못한다는 것이다. 그 결과가 파국적 망각이고, 40년이 지나도록 빠르게 계속 배우는 방법은 여전히 모른다. 그는 박사과정 주제로 두 가지를 제안한다. 학습에 좋은 표현을 학습하는 법, 그리고 학습된 세계 모델로 계획을 세우는 법이다.

서튼은 대규모 언어모델의 성공을 연결주의의 승리로 평가하면서, 인공 신경망을 '신경망'이라 부르는 것 자체가 부정확하다고 지적한다. 마지막으로 그는 과학 옆에 나란히 흐르는 거대한 산업 자본이 모든 것을 왜곡한다고 말한다. 추론이나 주의, 사고 같은 용어가 업계가 정한 대로 굳어져 다른 표현을 쓰면 이해받지 못하는 상황이 그 예다. 그럼에도 그는 결국 학습과 마음의 원리를 이해하게 될 것이며, 변화에 대한 공포는 좋은 대응 방식이 아니라고 덧붙인다.

주요 인사이트

• 강화학습이 강력한 이유는 특별히 준비된 데이터가 아니라 살아가며 그냥 벌어지는 일에서 배울 수 있기 때문이며, 그만큼 적용 범위가 넓어진다.
• 딥러닝이 표현을 학습한다는 통념은 절반만 맞다. 훈련 데이터를 담기에 충분한 표현과, 이후 학습을 잘하게 해주는 표현은 다른 문제다.
• 서튼은 이미 잘 아는 것을 크게 시연하거나 창업으로 연결하기보다, 오래 실패해온 어려운 문제를 고르는 것이 과학자의 표식이라고 말한다.
• AI 연구와 심리학·신경과학의 연결은 여전히 약하다. 서튼에게 강화학습과 동물 학습 연구는 애초에 분리된 적이 없는 하나의 주제였다.
• 산업의 규모가 과학을 왜곡한다는 지적은 용어 선택에서 가장 잘 드러난다. 부정확한 이름이라도 업계가 쓰기 시작하면 연구자도 따라갈 수밖에 없다.

자주 묻는 질문

관련 AI 소식