TTRL 논문 리뷰: 정답 레이블 없는 테스트 데이터로 LLM 추론 성능을 올리는 강화학습

핵심 메시지

• TTRL은 정답 레이블이 없는 테스트 데이터만으로 강화학습을 돌려 언어 모델의 추론 성능을 끌어올리는 방법이다.
• 모델이 같은 문제에 여러 답을 생성한 뒤 가장 자주 나온 답을 다수결로 추정 레이블 삼고, 그 답과 일치하면 1, 아니면 0의 보상을 준다.
• 추정 레이블 자체의 정확도는 낮게 유지되는데도 성능이 오르는데, 정답을 맞히는 것보다 일관된 기준으로 틀린 답에 낮은 보상을 주는 것이 더 중요하기 때문이다.
• 여러 모델 크기와 여러 수학 벤치마크에서 효과가 나타났고, 학습에 쓰지 않은 다른 벤치마크로도 성능 향상이 이어졌다.
• 모델이 해당 문제를 이해할 사전 지식 자체가 부족하면 효과가 없고, 문제 난이도가 올라갈수록 향상 폭이 줄어든다.

쉽게 이해하기

발표는 딥러닝 논문 읽기 모임에서 자연어 처리 팀이 소개한 TTRL 논문 리뷰다. 지금까지 언어 모델의 성능을 높이는 가장 직관적인 방법은 학습 시점에 연산 자원을 더 붓는 것이었다. 스케일링 법칙 연구는 파라미터와 데이터, 연산량이 성능에 어떻게 작용하는지 보여줬고, 친칠라 연구는 주어진 예산 안에서 파라미터만 늘릴 것이 아니라 학습 토큰도 함께 늘려야 효율적임을 지적했다.

그다음 단계가 사람의 선호를 반영하는 강화학습이었다. 여러 응답에 대해 사람이 선호도를 매기고 그것으로 보상 모델을 만든 뒤 PPO로 정책을 업데이트하는 RLHF가 대표적이다. 다만 사람이 직접 평가하는 비용이 크고, 사람의 피드백이 늘 정답이라고 보기 어려우며, 보상만 높이려는 보상 해킹 문제도 따라온다. 발표자는 이런 한계를 짚은 뒤 추론 시점으로 무게중심이 옮겨온 흐름을 설명한다.

여기서 두 갈래가 나뉜다. 테스트 타임 인퍼런스는 추론 시점에 여러 후보 답을 만들어 좋은 것을 고르는 쪽이고, 테스트 타임 트레이닝은 들어오는 테스트 데이터에 맞춰 모델 자체를 온라인으로 갱신하는 쪽이다. TTRL은 후자에 속한다. 학습 데이터와 실제 데이터의 분포가 다르다는 문제의식에서 출발해, 정답 레이블 없이도 모델을 갱신할 방법을 찾는다.

방법 자체는 그림 한 장으로 설명된다. 레이블 없는 테스트 문제가 들어오면 모델이 여러 응답을 반복 샘플링한다. 그 응답들에서 답을 추출해 가장 빈도가 높은 답을 다수결로 고르고, 이를 추정 레이블로 삼는다. 그다음 각 샘플이 이 추정 레이블과 일치하면 보상 1, 불일치하면 0을 주는 규칙 기반 보상으로 정책을 업데이트한다. 사실상 모델이 스스로 만든 기준으로 자신을 학습시키는 구조다.

실험 결과는 Qwen2.5 계열과 Llama 3.1 8B 등 여러 모델과 여러 수학 벤치마크에서 성능이 올라가는 것을 보여준다. 한 데이터셋으로 학습한 뒤 다른 벤치마크로 평가해도 성능이 함께 올라, 답을 외운 것이 아니라 문제 해결 능력이 개선됐다는 근거로 제시된다. 기본 알고리즘은 GRPO지만 PPO로 바꿔도 정확도가 오르고 엔트로피가 낮아지는 경향이 유지된다.

주요 인사이트

• 가장 흥미로운 지점은 추정 레이블이 자주 틀리는데도 학습이 된다는 사실이다. 실제 정답이 3인데 다수결 결과가 2로 나와도, 3이 아닌 다른 답들에는 여전히 낮은 보상이 돌아간다. 정확한 정답보다 일관된 채점 기준이 학습 신호로서 더 중요하다는 뜻이다.
• 보상 정확도와 레이블 정확도가 따로 논다는 관찰도 같은 맥락이다. 발표자는 레이블 정확도가 낮게 유지되거나 흔들리는 동안에도 보상 정확도는 높게 유지되며, 이것이 성능 향상의 실질적인 동력이라고 설명한다.
• 모델이 자기가 만든 레이블로 학습하는데 다수결 성능의 상한을 넘어선다는 점을 발표자는 신기한 결과로 꼽는다. 실제 정답을 그대로 노출해 강화학습을 돌린 경우와 비교해도 성능이 크게 벌어지지 않는다.
• 한계는 분명하다. 고난도 수학 벤치마크에서는 일부 모델에서 성능이 전혀 오르지 않았고, MATH-500을 난이도별로 나눠 보면 어려운 구간일수록 향상 폭이 줄어든다. 모델이 애초에 그 문제를 다룰 사전 지식이 없으면 자기 답을 기준 삼는 방식이 통하지 않는다.
• 하이퍼파라미터 민감성도 그대로 남는다. 어려운 문제일수록 온도를 높여 다양한 응답을 뽑는 편이 유리하고, 데이터셋이 작으면 같은 데이터를 여러 에피소드에 걸쳐 반복해서 보여줘야 한다는 조언이 붙는다.

자주 묻는 질문

관련 AI 소식