강화학습 르네상스: RLHF에서 검증 가능한 보상(RLVR)으로, 추론 모델 학습이 바뀐 이유

핵심 메시지

• RLHF는 언어 모델의 전부는 아니었지만, 이후 추론 모델 학습을 가능하게 한 도구와 인프라를 남겼다는 점에서 결정적인 디딤돌이었다.
• 새 학습 방식의 핵심은 미묘한 선호 신호 대신 명확한 정답 신호를 주는 것이다. 수학은 답이 맞는지, 코드는 테스트가 통과하는지를 확인해 큰 보상을 준다.
• 이 아이디어 자체는 새롭지 않았다. 검증 가능한 영역에서의 강화학습 연구는 이전부터 있었지만, 실제로 크게 키워 결과를 보여준 사례가 사람들의 인식을 바꿨다.
• 발표자는 이 흐름을 자기대국(self-play)과 구분한다. 언어 모델은 서로 겨루는 대신 우리가 만든 검증기를 만족시키려 하기 때문에 알파고 계열의 자기대국과는 근본적으로 다르다는 것이다.
• 사후학습 연산 비중이 계속 커지면, 언젠가 사전학습과 대등해질 수도 있다는 사고 실험으로 강연은 마무리된다.

쉽게 이해하기

발표자는 시애틀의 한 모임에서 한 강연을 채널에 공개하며, 요즘의 강화학습 흐름을 역사와 함께 정리한다. 출발점은 1992년의 백개먼 연구다. 자기대국, 전문가 수준 돌파, 신경망으로 가치 함수 학습이라는, 오늘날 사람들이 강화학습의 성공 사례로 떠올리는 요소가 이미 그때 다 있었다는 점을 짚는다.

그 다음 이야기는 RLHF다. 사람의 선호는 근본적으로 측정하기 어렵기 때문에 보상 모델이라는 우회로가 필요했고, 그것이 오늘날 대화형 모델의 출발점이 됐다. 다만 발표자는 RLHF가 전체 파이프라인의 큰 부분은 아니었다고 선을 긋는다. 대신 진짜 중요한 유산은 따로 있다. 학계와 오픈소스 진영이 수년간 안정적인 RLHF 코드를 다듬어온 덕분에, 지금의 추론 모델 학습이 그 위에서 빠르게 돌아갈 수 있었다는 것이다.

기술적으로 달라진 지점은 명확하다. 보상 모델이 주는 미묘한 선호 점수 대신, 답이 맞았는지 코드가 통과했는지를 직접 확인해 훨씬 큰 보상을 준다. 실제 학습에서는 한 문제를 네 번에서 여덟 번 풀게 한 뒤 맞은 시도를 강화하고 틀린 시도에 벌점을 준다. 발표자는 이 방식이 보상 모델 없이도 작동한다는 것이 공개 연구들에서 확인됐고, 그래서 모델이 스타일에 얽매이지 않고 스스로 해법을 찾는 시행착오에 집중할 수 있다고 설명한다.

당시 화제였던 공개 모델의 보고서에서 그가 중요하다고 꼽은 그림은 두 가지다. 강화학습 연산을 늘릴수록 성능이 좋아진다는 것, 그리고 그 부산물로 모델이 내놓는 답의 길이가 길어진다는 것이다. 즉 흔히 말하는 '추론 시점 연산'은 목적이 아니라 학습 시점 강화학습을 키운 결과로 따라 나오는 것에 가깝다는 해석이다. 알고리즘을 PPO에서 GRPO로 바꾸고 하이퍼파라미터만 손봤는데 평균 1.5점 넘게 좋아졌다는 자체 실험도 이 시기 개선 여지가 얼마나 많은지를 보여주는 예로 제시된다.

마지막으로 그는 이 흐름을 '쓰라린 교훈'과 연결한다. 오래 확장되는 두 방법이 탐색과 학습이라면, 사전학습이 학습에 해당하고 이 새로운 강화학습이 탐색에 해당한다는 것이다. 그래서 검증기와 놀이터, 샌드박스를 잘 만드는 일이 중요해진다. 한 공개 모델의 보고서에서 사후학습에 쓰인 연산이 전체의 1%에도 못 미쳤다는 수치를 인용하며, 강화학습 학습이 몇 주 단위로 늘어나는 지금 추세라면 그 비중이 훨씬 커질 수 있다고 전망한다.

주요 인사이트

• RLHF에 대한 대중적 반감과 실제 현장의 평가는 크게 갈린다. 발표자는 프런티어 연구소 안에서는 RLHF와 그 변형이 오히려 강력한 자산으로 대접받는다고 말한다.
• '검증 가능한 영역으로 문제를 좁혔더니 강화학습의 기본기가 다시 통했다'는 것이 이 흐름의 요약이다. 그래서 강화학습을 오래 해온 사람들에게는 이 결과가 새롭지 않게 보이는데, 실제로 어려웠던 부분은 안정적인 구현과 충분히 좋은 기반 모델, 그리고 될 거라는 믿음이었다는 지적이 인상적이다.
• 보상 설계(reward shaping)는 아직 열린 문제다. 수학과 코드를 함께 학습할 때 영역 간 비중을 어떻게 두는지, 코드처럼 문법은 맞지만 답이 틀린 경우 부분 점수를 어떻게 주는지 같은 질문이 남아 있다.
• 언어 모델의 자기대국은 알파고 계열과 다르다. 알파고류는 최적 전략을 알 수 없는 닫힌 경쟁 환경에서 서로를 상대로 무한히 학습했지만, 지금 모델들은 우리가 만든 검증기를 만족시키려 할 뿐이다.
• 발표자는 이 변화가 한때의 유행과 다르다고 본다. RLHF가 챗봇에 필요했지만 충분하지는 않았다면, 검증 가능한 보상 학습은 앞으로 AI 학습의 중심 방법이 될 수 있다는 것이 그의 결론이다.

자주 묻는 질문

관련 AI 소식