강화학습이 AI의 과학적 발견을 이끄는 이유: 오픈AI 댄 로버츠 대담

핵심 메시지

• 최근 오픈AI·딥마인드·앤트로픽이 오랫동안 풀리지 않던 '에르되시 문제' 일부에서 진전을 내며, AI가 시키는 일을 넘어 스스로 발견에 다가서는 신호로 받아들여졌다.
• 강화학습(RL)은 시연을 외우는 지도학습과 달리, 환경과 상호작용하며 행동에 대한 보상 피드백으로 배우는 방식이다. 보상이 드문드문 주어질 때가 가장 어렵다.
• 이제 RL은 '케이크 위 체리'가 아니라 케이크의 본체가 됐다. 대량의 컴퓨팅을 지능으로 바꾸는 핵심 경로이기 때문이다.
• 체인 오브 소트(사고 과정)는 테스트타임 컴퓨트의 산물로, 모델이 언어로 생각을 이어가며 한 번의 답변보다 훨씬 많은 계산을 문제에 투입하게 해준다.
• 물리학의 관점에서 '창발'은 이해 부족의 신호이며, 큰 시스템에서 작은 시스템으로 내려가 매끄러운 스케일링을 복원하는 것이 이해의 방법이라고 로버츠는 주장했다.

쉽게 이해하기

매트 터크가 진행하는 MAD 팟캐스트에 오픈AI의 강화학습 기초(foundations) 팀을 이끄는 댄 로버츠가 출연했다. 이론물리학(양자중력·양자정보)에서 출발해 딥러닝 이해로 전향한 그는, 최근 오픈AI·딥마인드·앤트로픽이 수학의 유명 미해결 문제인 '에르되시 문제' 일부를 공략한 사건을 실마리로 대담을 시작했다.

로버츠는 이 진전이 어느 날 갑자기 오는 것이 아니라 매끄럽고 점진적인 변화라고 강조했다. 굳이 한 순간을 꼽자면 o1과 추론 모델, 즉 테스트타임 컴퓨트 패러다임의 등장이지만, 그 전 GPT-4에서도 과학에 유용한 조짐이 있었다고 봤다. 특히 오픈AI가 다룬 '단위 거리' 관련 문제에서는, 모두가 참이라 믿던 추측을 모델이 오히려 거짓이라 가정하고 대수적 정수론과의 연결을 파고들어 반증에 이르렀다고 설명했다.

그는 접근법의 차이도 짚었다. 딥마인드는 문제를 린(Lean) 같은 형식 언어로 옮겨 증명을 탐색하는 방식을, 오픈AI는 사람 수학자처럼 비형식적 자연어로 추론해 증명을 제시하고 사람이 검증하는 방식을 주로 택했다.

강화학습을 쉽게 설명하기 위해 그는 슈퍼마리오 비유를 들었다. 아빠가 하는 걸 지켜보기만 하는 것이 지도학습(전문가 시연 암기)이라면, 직접 버튼을 눌러 죽고 점프하며 환경의 피드백과 보상으로 배우는 것이 강화학습이다. 체스처럼 끝에서야 승패를 아는 '희소 보상' 상황이 가장 어려운데, 어떤 행동이 좋았는지 신호가 없기 때문이다.

대담은 RLHF와 보상 모델, 탐색과 활용(그가 대학원 시절 참여한 포커봇 우승 일화 포함), 검증 가능한 보상, 그리고 물리학적 사고가 AI 이해에 주는 통찰로 이어졌다. 그는 지난해 던진 '아인슈타인급 AI까지 9년' 농담을 스스로 해체하며, 그 전에 무언가가 먼저 깨질 것이라고 봤다.

주요 인사이트

• 새로운 것을 발견하려면 강한 확신을 갖고 남들과 다른 길을 오래 밀어붙여야 한다. 계산 경로가 길수록 선택 하나만 틀려도 진전이 없기에, 반골적 자세와 끈기가 모두 필요하다.
• 언어가 핵심 '사전지식(prior)'이다. 인터넷에 축적된 인류의 지식·수학이 언어로 표현돼 있어, 언어로 생각하는 모델 위에 학습을 얹는 것이 현실 세계에 접지(grounding)된 자연스러운 출발점이 된다.
• 테스트타임 컴퓨트의 힘은 계산량에 있다. 즉답을 강요하면 한 번의 순전파로 한 토큰만 낼 수 있지만, 오래 '생각'하게 하면 훨씬 큰 계산의 함수로 최종 답을 낼 수 있다.
• 검증 가능한 보상(예: 정수 답 문자열 매칭)은 해킹이 어렵다는 장점이 있지만, 창작 글의 좋고 나쁨처럼 취향이 개입하는 문제에는 적용하기 어렵다.
• '창발'과 '스케일링 법칙이 깨졌다'는 말은, 무엇을 확장하고 있었는지 이해하지 못했다는 뜻일 수 있다. 물리학처럼 문제의 본질을 담은 가장 단순한 설정으로 후퇴해 연속성을 복원하는 것이 이해의 길이다.

자주 묻는 질문

관련 AI 소식