MaxRL 강화학습 연구 해설: 최대우도 목적함수로 GRPO의 다양성 붕괴를 넘어서는 방법

핵심 메시지

• 수학·코딩·경로 탐색처럼 정답 여부만 확인되는 과제는 사실상 분류 문제에 가깝다. 그런데 분류에서는 당연히 쓰는 로그가 강화학습 목적함수에서는 사라져 있다는 것이 이 연구의 출발점이다.
• 기존 방식은 성공 확률의 평균을 올리려 하고, 이는 로그를 씌운 진짜 목표의 1차 근사에 불과하다. 정답률이 극히 낮은 문제에서는 이 근사에서 학습 신호가 거의 남지 않는다.
• 핵심 변경은 놀랄 만큼 단순하다. 롤아웃 전체 개수로 나누던 것을 성공한 롤아웃 개수로 나눈다. 32번 중 한 번만 맞힌 어려운 문제의 신호가 32분의 1로 희석되지 않고 살아남는다.
• 롤아웃을 늘리면 분산만 줄던 기존 방식과 달리, 이 방식은 롤아웃 수가 곧 근사 차수가 된다. 계산을 더 쓸수록 목적함수 자체가 최대우도에 가까워진다.
• 실험에서는 정답률이 높은 쪽에 몰리는 다양화 붕괴가 줄고 같은 성능에 필요한 샘플이 크게 줄었지만, 계산 여유가 적을 때는 기존 방식이 더 빨리 오르는 구간도 분명히 존재한다.

쉽게 이해하기

발표자는 이진 보상 환경, 즉 결과가 맞았는지 틀렸는지만 확인되는 과제들을 대상으로 삼는다. 이런 과제는 정책에서 사고 과정을 표집하고 검증기가 채점하는 구조를 공유하며, 결국 입력마다 성공 확률이 정해지는 형태가 된다. 이미지 분류와 다른 점은 최종 답을 바로 뽑는 대신 사고 과정을 거쳐야 한다는 것뿐이다.

그렇다면 분류 문제에서 누구나 교차 엔트로피를 쓰는데, 왜 강화학습은 로그 없는 형태를 최적화하는가. 발표자는 이 질문을 이미지 분류라는 장난감 예제로 확인시킨다. 손실에서 로그만 떼어내면 학습이 거의 진행되지 않고, 학습률을 일곱 자릿수 범위로 훑거나 옵티마이저를 바꿔도 결과가 달라지지 않았다고 말한다.

수식으로 보면 이유가 드러난다. 로그를 씌운 목표의 기울기는 여러 차수의 성공 확률 항이 무한히 더해진 형태로 전개되는데, 기존 방식은 그중 첫 항만 쓰는 셈이다. 정답률이 낮은 문제에서는 첫 항이 사실상 0에 가깝고, 실제로 학습을 끌고 가는 것은 뒤쪽 고차 항들이다. 문제는 이 무한합을 현실적인 표집 예산으로는 추정할 수 없다는 점이다.

그래서 이 연구는 무한합을 어디까지 잘라 쓸지를 계산 예산과 연결한다. 프롬프트당 롤아웃을 늘리면 잘라내는 지점이 뒤로 밀리고, 계산이 무한대로 가는 극한에서 원래의 최대우도와 일치한다. 실제 구현은 성공한 롤아웃 개수로 정규화하고 편향이 생기지 않도록 기준선을 새로 유도하는 정도의 변경으로 끝난다.

실험은 이미지 분류, 무한한 학습 데이터를 가정한 미로 탐색, 데이터가 한정된 수학 문제, 그리고 더 큰 언어 모델 학습까지 네 갈래로 진행됐다. 여러 번 시도했을 때의 정답률에서 특히 차이가 크게 벌어졌고, 같은 성능에 도달하는 데 필요한 표집량이 최대 20분의 1 수준으로 줄었다는 결과가 제시된다. 다만 발표자는 보편적으로 우월한 목적함수는 없으며 계산 예산과 평가 분포에 따라 선택이 달라진다고 못 박는다.

주요 인사이트

• 어려운 문제의 학습 신호를 죽이는 범인은 알고리즘의 복잡한 부분이 아니라 평범한 평균 계산이었다. 32번 시도해 한 번 맞힌 문제를 32로 나누면, 애써 얻은 정답 하나가 사라진다.
• 계산 자원을 더 쓰는 의미가 달라진다. 기존 방식에서 롤아웃 증가는 분산 감소일 뿐 목표는 그대로지만, 이 방식에서는 롤아웃 수가 근사 정확도를 직접 끌어올린다.
• 무한한 학습 데이터를 가정한 미로 실험에서 기존 방식은 한 번 시도했을 때와 천 번 넘게 시도했을 때의 정답률이 거의 같아졌다. 탐색 여지가 남지 않았다는 뜻이고, 더 학습해도 나아질 여지가 없다는 신호다.
• 빠른 수렴과 넓은 탐색 범위는 맞바꾸는 관계다. 초반 수십 에폭 동안은 기존 방식이 앞서다가 나중에 역전되는 곡선이 관찰돼, 학습 예산이 짧다면 오히려 기존 방식이 합리적인 선택이 된다.
• 무엇을 잘하고 싶은지에 따라 답이 달라진다. 쉬운 문제 몇 개를 확실하게 처리하는 안정성이 필요하다면 기존 방식이 유리하고, 풀지 못하던 문제의 범위를 넓히고 싶다면 이쪽이 낫다. 넓힌 뒤에 다시 좁히는 단계적 조합도 가능하다.

자주 묻는 질문

관련 AI 소식