지속 학습(Continual Learning) 확장 방법: 온폴리시 자기증류가 강화학습의 네 가지 한계를 푸는 방식

핵심 메시지

• 벤치마크는 만드는 데 몇 시간에서 며칠씩 걸릴 만큼 비싸졌는데, 정작 사람들이 실제로 AI를 쓰는 방식과는 연결되어 있지 않다.
• 매일 수백조 개의 토큰이 추론에 쓰이면서 모델이 어디서 잘하고 어디서 실패하는지가 기록되지만, 이 신호는 학습에 거의 쓰이지 않는다.
• 발표자는 좋은 학습 방식의 조건을 온라인 작업 분포, 온폴리시 샘플링, 병렬 롤아웃 불필요, 토큰 단위 보상 네 가지로 정리했다.
• 온폴리시 자기증류는 힌트를 미리 받은 같은 모델을 교사로 세워 이 네 조건을 한꺼번에 만족시키고, 토큰마다 어휘 전체의 분포를 옮긴다.
• 도구 호출이 수십 번씩 이어지는 긴 작업으로 키우면 모델이 얼버무리는 현상과 힌트 누출이 나타나, 단계별 가중치와 잔차 가이던스로 막아야 한다.

쉽게 이해하기

지난 몇 년간 AI 발전은 새 벤치마크를 만들면 몇 달 안에 점수가 포화되는 방식으로 반복됐다. 발표자는 이 방식이 한계에 다다랐다고 본다. 벤치마크 하나를 채점하는 데 네 시간, 여섯 시간, 심하면 며칠이 걸리는 영역이 늘었고, 연구소들은 학습 환경과 데이터를 키우는 데 막대한 돈을 쏟고 있다. 그런데 그렇게 만든 문제들은 사람들이 실제로 AI를 쓰는 상황과 잘 맞지 않는다.

그가 짚는 진짜 기회는 다른 곳에 있다. 매일 수백조 개의 토큰이 추론에 쓰이면서 모델이 어떤 상황에서 성공하고 실패하는지가 대량으로 남는데, 이 신호는 학습으로 돌아가지 않고 버려진다. 사람은 매일 겪는 일에서 계속 배우며 나아지는데 모델은 그렇지 못하다는 것이다. 발표자는 이 문제를 풀려면 학습 알고리즘이 네 가지 조건을 동시에 만족해야 한다고 정리한다. 실제 사용에서 나온 작업 분포일 것, 모델 자신이 만든 결과에서 샘플링할 것, 여러 개를 동시에 굴리는 인프라가 필요 없을 것, 보상이 토큰 단위로 촘촘할 것.

지금 널리 쓰이는 GRPO는 이 중 온폴리시 샘플링만 확보한 상태다. 하나의 문제에 대해 여러 갈래 결과를 뽑고 마지막에 점수 하나를 매겨 평균보다 잘한 쪽으로 모델을 밀어낸다. 발표자는 이를 에세이를 쓰고 100점 만점에 87점이라는 숫자 하나만 돌려받는 상황에 비유했다. 좋은 글이 무엇인지 감을 잡으려면 그 과정을 엄청나게 반복해야 하고, 여러 갈래를 동시에 돌리려면 현실을 그대로 복제한 환경 인프라도 필요하다.

대안으로 제시된 것이 온폴리시 자기증류다. 원래 증류는 더 큰 교사 모델의 확률 분포를 학생 모델이 따라가게 하는 방식인데, 최전선 모델에는 더 똑똑한 교사가 없다. 그래서 같은 모델에게 문제 풀이에 도움이 되는 힌트를 프롬프트 앞에 붙여 잠시 더 똑똑하게 만든 뒤, 힌트 없이 푼 자신을 힌트를 본 자신에게 맞추도록 학습시킨다. 결과가 여럿 필요 없으니 병렬 인프라가 사라지고, 마지막 점수 하나가 아니라 토큰마다 6만 개가 넘는 어휘 전체에 대한 분포를 맞추므로 피드백이 훨씬 촘촘해진다. 짧은 과제에서는 GRPO가 특정 수준에서 멈추는 반면 이 방식은 그 위로 올라갔고, 정답을 내는 데 쓰는 토큰 수도 오히려 줄었다.

다만 모델 크기를 키우고 도구 호출이 50~100회 이어지는 긴 작업으로 옮기면 문제가 드러난다. 학생이 긴 궤적에서 멀리 벗어나면 교사가 매 순간 방향을 되돌리려 하고, 그 결과 모델이 '잠깐', '하지만', '아마도' 같은 얼버무리는 표현으로 수렴해 버린다. 발표자는 단계마다 학생과 교사의 분포 차이를 재서 그 단계의 학습 가중치로 쓰는 방법으로 이를 완화했다. 또 하나는 힌트 누출이다. 힌트에 정답이 그대로 들어 있으면 모델이 추론을 건너뛰고 답부터 적은 뒤 근거를 꾸며내는데, 이는 현실에서 재현될 수 없는 습관이다. 힌트를 절반만 준 교사와 전부 준 교사의 결과를 선형 결합해 힌트의 세기를 조절하는 잔차 가이던스가 대응책으로 제시됐다.

주요 인사이트

• 벤치마크 점수를 올리는 경쟁과 실제 사용자가 겪는 실패를 줄이는 일은 점점 다른 문제가 되고 있다. 추론 과정에서 남는 기록을 학습으로 되돌리는 경로가 열리면 개선의 축 자체가 바뀐다.
• 강화학습에서 보상을 숫자 하나로 압축하는 것이 얼마나 큰 정보 손실인지 드러난다. 토큰마다 어휘 전체의 분포를 맞추면 같은 데이터에서 훨씬 많은 신호를 뽑아낼 수 있다.
• 여러 갈래 결과를 동시에 굴리지 않아도 되면 현실을 복제한 환경을 유지하는 비용과 그로 인해 끼어드는 편향이 함께 사라진다. 알고리즘 선택이 인프라 규모를 결정한다.
• 짧은 과제에서 잘 동작하던 방법이 도구를 수십 번 호출하는 긴 작업에서 무너진다는 점은, 논문 수준의 검증과 실제 제품 규모 사이에 큰 간극이 있음을 보여준다.
• 강화학습에 보상 해킹이 있듯 자기증류에는 힌트 누출이라는 대응 문제가 있다. 학습 신호를 설계하는 쪽이 항상 모델이 지름길을 찾는 방식을 함께 고민해야 한다.

자주 묻는 질문

관련 AI 소식