리처드 서튼 강화학습·AGI 발언 정리: 스케일링 법칙 비판과 딥시크가 남긴 교훈

핵심 메시지

• 서튼은 지능형 에이전트로 가는 길이 대규모 언어모델이 아니라 강화학습을 통과한다고 본다.
• 딥시크는 훨씬 적은 자원으로 성과를 냈고, 이는 '연산량만 있으면 된다'는 통념을 무너뜨린 사례다.
• 그는 '스케일링 법칙'이라는 표현 자체가 과하다고 지적한다. 몇 달 유지된 경험칙을 법칙으로 부르고 있다는 것이다.
• 딥시크는 강화학습을 여러 지점에서 범용 훈련 도구처럼 쓰지만, 지연 보상과 장기 결과까지 다루지는 않는다.
• 벤치마크 점수와 실제 효용의 괴리가 커지면 업계 전반의 실망으로 이어질 수 있다.

쉽게 이해하기

강화학습 분야를 대표하는 연구자 리처드 서튼이 지능에 대한 자신의 관점을 밝힌 대담 영상이 공개됐다. 그는 지능형 에이전트에 도달하는 경로가 대규모 언어모델이 아니라 강화학습을 통과한다고 본다. 각 에이전트는 저마다 다른 목표를 갖고, 번영은 중앙집중이 아니라 분산된 협력에서 나온다는 것이 그가 강조한 큰 그림이다.

대담의 출발점은 딥시크였다. 서튼이 개척한 강화학습 기법을 활용해 훨씬 적은 자원으로 강력한 모델을 만들어낸 사례를 어떻게 보느냐는 질문에, 그는 딥시크가 '연산량만 있으면 된다'는 생각에 정면으로 반박한 사례라고 답했다. 알고리즘은 언제나 대단히 중요했고 강화학습도 그 일부라는 것이다.

그는 모든 기업이 막대한 전력과 연산 자원을 확보하는 데만 매달리면 승부가 갈릴 것이라는 통념도 반박했다. 진보는 자원 접근성보다 새로운 아이디어에서 나올 가능성이 최소한 그만큼, 어쩌면 더 크다는 것이다. 이어 '스케일링 법칙'이라는 용어 자체를 문제 삼았다. 연산을 늘리면 성능이 좋아진다는 관찰이 몇 달 유지됐다고 해서 이를 법칙이라 부르는 것이 어떻게 통용되는지 모르겠다며, 업계가 스스로를 속여왔다고 표현했다.

AGI로 가는 속도에 대한 질문에도 그의 회의적 태도는 유지됐다. 작은 돌파구들이 이어지는 빠른 궤적은 예상하지만, 생성형 AI와 대규모 언어모델을 주된 패러다임으로 삼아 AGI까지 밀어붙일 수 있느냐가 관건이고 자신은 늘 이에 매우 회의적이었다는 것이다. 딥시크 역시 그 판단을 바꾸지는 못했다고 그는 말했다.

다만 그는 딥시크 논문에서 강화학습이 여러 곳에서 다양한 방식으로 쓰인 점에 주목했다. 정답 행동을 사람이 직접 지정하는 지도 미세조정과 달리, 피드백이 다소 부정확해 순위나 평점만 매길 수 있는 상황에서는 강화학습이 적합하다는 설명이다. 그러면서도 지연 보상과 장기적 결과 같은 정교한 요소들이 빠져 있다는 점을 아쉬워했다. AGI에 근접하려면 결국 그 부분이 필요하다는 것이다.

주요 인사이트

• '연산량이 곧 경쟁력'이라는 전제가 흔들리면 자본 규모가 작은 조직에도 알고리즘 혁신으로 승부할 여지가 생긴다.
• 스케일링 법칙을 자연법칙처럼 받아들이는 태도에 대한 경고는, 투자와 인프라 계획을 짜는 쪽에서도 새겨볼 지점이다.
• 강화학습이 '정답을 알려주기 어려운' 영역에서 특히 유효하다는 설명은, 사내 데이터로 모델을 다듬으려는 조직에 실용적인 기준이 된다.
• 지연 보상과 장기 결과를 다루지 않는 한 현재의 강화학습 활용은 부분적 도구에 머문다는 것이 서튼의 진단이다.
• 벤치마크 점수와 실제 효용의 괴리를 방치하면 성과가 과대평가되고, 뒤늦게 실망이 몰려올 수 있다.

자주 묻는 질문

관련 AI 소식