사전학습 대 강화학습 컴퓨트 배분 스케일링 법칙, 허깅페이스 저널클럽 논문 토론 정리

핵심 메시지

• 사전학습에는 친칠라 법칙 같은 기준이 있었지만, 사후학습에 컴퓨트를 얼마나 배분할지는 그동안 경험칙에 맡겨져 있었다.
• 논문은 체스를 실험대로 삼아 사전학습·지도학습·강화학습 세 단계를 한 틀 안에서 비교하고 둘을 잇는 스케일링 법칙을 제시한다.
• 사전학습 컴퓨트를 늘릴수록 이후 단계 성능이 오르고, 그 위에 강화학습을 얹으면 pass@1이 크게 뛰지만 pass@k는 거의 변하지 않았다.
• 강화학습은 주로 모델이 이미 가진 능력을 다듬어 일관성을 높이며, 어려운 문제에서 새 해법을 끌어내는 경우는 일부에 그친다.
• 체스는 어휘가 81개 토큰 수준으로 좁아 언어 모델에 그대로 일반화하기 어렵다는 점도 토론에서 함께 지적됐다.

쉽게 이해하기

허깅페이스 연구팀의 저널클럽이 다룬 논문은 사전학습과 사후학습을 하나의 스케일링 법칙으로 묶어 보려는 시도다. 사전학습 단계에서는 파라미터당 토큰 수를 약 20배로 잡는 친칠라 법칙 같은 기준이 있었지만, 지도학습과 강화학습에 컴퓨트를 어떻게 나눌지는 뚜렷한 근거 없이 경험칙으로 정해져 왔다. 이 논문은 그 빈칸을 채우기 위해 세 단계를 한 실험 안에서 통제한다.

실험대는 체스다. 사람이 둔 기보 데이터를 수 나열로 보고 자기회귀 방식으로 사전학습한 뒤, 특정 국면에서 여러 경로를 표본으로 뽑아 트리를 만들고 이를 한 줄로 펴서 사고 사슬 학습 데이터로 삼는다. 마지막 강화학습 단계에서는 각 수마다 최선수인지 아닌지를 채점하는데, 최선수가 아니면 보상이 0이고 맞으면 다음 국면으로 넘어간다. 최종 결과만 보고 채점하는 통상의 강화학습과 달리 사실상 과정 단위 감독에 가깝다는 점이 토론에서 흥미로운 차이로 꼽혔다.

핵심 결과는 두 가지다. 첫째, 사전학습에 컴퓨트를 더 쓸수록, 그리고 사전학습 손실이 낮을수록 이후 단계의 성능과 일반화가 좋아진다. 둘째, 강화학습은 pass@1을 눈에 띄게 끌어올리지만 pass@k는 사전학습 규모와 무관하게 거의 그대로다. 참가자들은 pass@1이 오른다는 것 자체가 모델의 신뢰성이 좋아졌다는 뜻이므로 중요한 지표라고 짚었다.

그렇다면 강화학습은 새 능력을 만드는가, 있던 능력을 선명하게 만드는가. 논문의 답은 깔끔하지 않다. 이미 풀 수 있는 문제에서는 좋은 해법이 증폭돼 일관성이 올라가지만, 어려운 국면에서는 분포의 꼬리에 있던 좋은 수를 드러내는 경우도 있고 반대로 알던 답만 더 굳게 반복하는 경우도 있다. 참가자들은 기저 모델의 pass@16이 0인 문제라면 강화학습만으로 마법처럼 풀리지는 않을 것이라는 쪽으로 정리했다.

부록의 분석에서는 컴퓨트를 고정했을 때 친칠라 기준선을 따르기보다 더 작은 모델을 더 오래 학습시키는 편이 유리하다는 결과도 나왔다. 다만 참가자들은 어휘가 81개 토큰 수준으로 좁은 체스와 그보다 수십 배 넓은 자연어에서 분포의 움직임이 다를 수 있다며 일반화에는 신중한 태도를 보였다. 실무에서는 사전학습 레시피를 알 수 없는 공개 가중치 모델 위에 중간학습이나 강화학습을 얹는 경우가 대부분이고, 이 곡선의 계수를 직접 맞추려면 막대한 실험 비용이 든다는 점도 지적됐다. 그래서 참가자들은 이미 사전학습된 체크포인트에 수학 코퍼스로 중간학습을 이어 붙여 중간학습 손실과 강화학습 성능의 관계를 본 실험이 실무에 가장 가깝다고 평가했다.

주요 인사이트

• 컴퓨트 배분은 성능만의 문제가 아니다. 토론에서는 프런티어 연구소들이 모델의 내재 역량보다 앞으로 몇 달 또는 몇 년간 서비스할 추론 비용을 기준으로 학습 예산을 정한다는 관점이 언급됐다.
• pass@1과 pass@k를 분리해 보는 것이 중요하다. 전자는 신뢰성, 후자는 잠재 능력의 폭에 가깝고, 강화학습은 주로 전자를 개선한다.
• 강화학습을 무작위 초기화 상태에서 시작하는 것은 자연어에서는 사실상 불가능하다. 알파제로처럼 되는 영역이 있지만, 그것을 언어 모델로 일반화하기는 어렵다.
• 좁은 어휘와 명확한 정답이 있는 체스는 실험을 깨끗하게 만들지만 동시에 결론의 적용 범위를 좁힌다. 깔끔한 실험 설계와 일반화 가능성은 종종 맞바꿔야 한다.

자주 묻는 질문

관련 AI 소식