RLVR 강화학습으로 LLM에 문제 해결 절차 가르치기 — 개념부터 실습까지

핵심 메시지

• LLM의 사후 훈련은 지도 미세조정(SFT)으로 '무엇을'을, 선호 학습으로 '얼마나 잘'을, 그리고 검증 가능한 보상 강화학습(RLVR)으로 '어떻게(절차)'를 가르치는 3단계로 정리할 수 있다.
• RLVR은 정답을 통과/실패처럼 객관적으로 판정할 수 있는 과제에 강화학습을 적용한다. DeepSeek R1의 추론 능력은 단순한 검증 보상만으로 창발적으로 나타난 대표 사례다.
• 발표자는 개인정보(PII) 마스킹을 검증 가능한 과제로 삼아, 정확도·형식·PII 개수라는 세 가지 보상을 정의하고 오픈소스 라이브러리로 직접 강화학습 환경을 구축했다.
• 약 40억 파라미터의 경량 Qwen 계열 모델을 이 환경에서 훈련하자 PII 마스킹 성능이 크게 올라, 평가에서 훨씬 큰 상용 모델들보다 높은 점수를 얻었다.

쉽게 이해하기

언어 모델을 만드는 과정은 크게 사전 학습, 지도 미세조정(SFT), 선호 학습과 표적 강화학습으로 이어진다. 사전 학습이 언어와 세계에 대한 표현을 익히는 단계라면, SFT는 잘 만들어진 입력·출력 쌍을 모방하게 하는 '모방 학습'으로 지시 따르기, 형식, 도구 사용 같은 행동을 심는다. 다만 SFT는 개별 행동을 잘 가르치지만 전체적인 결과 자체를 직접 최적화하지는 못한다는 한계가 있고, 여기서 강화학습이 등장한다.

강화학습이 처음 주목받은 곳은 정렬(alignment)이었다. 사람이 여러 출력의 선호 순위를 매기면 그 데이터로 보상 모델을 학습시키고, 이 보상으로 언어 모델의 정책을 갱신하는 인간 피드백 기반 강화학습(RLHF)이 ChatGPT 등에 쓰였다. 중간 단계까지 평가하는 과정 보상 모델, 강화학습을 생략하고 선호 쌍으로 바로 학습하는 직접 선호 최적화(DPO) 같은 변형도 나왔다.

최근의 전환점은 검증 가능한 보상 강화학습(RLVR)이다. RLHF가 주관적인 인간 선호에 맞추는 데 초점을 둔다면, RLVR은 정답 여부처럼 자동·객관적으로 판정할 수 있는 신호로 모델의 '절차적 능력'을 키운다. DeepSeek R1은 수학·코드·논리 같은 검증 가능한 과제에 단순한 보상만 준 실험에서, 스스로 되짚어 보고 검토하며 사고하는 추론 행동이 창발적으로 나타난 사례다. 이는 창작자가 명시적으로 가르친 것이 아니라, 문제를 맞혔는지에 대한 보상만으로 학습된 절차였다.

발표자는 이를 직접 구현하기 위해 개인정보(PII) 마스킹을 과제로 골랐다. 원문과 마스킹된 정답이 함께 있는 공개 데이터셋을 활용하면 결과를 정답과 대조해 명확히 검증할 수 있기 때문이다. 그는 정확도(정답과 정확히 일치하는지), 형식(지정한 XML 태그 안에 답을 넣었는지), 그리고 재미 삼아 넣은 PII 개수 일치라는 세 가지 보상 함수를 정의하고, 정확도에 가장 큰 가중치를 뒀다. 구현에는 강화학습 환경을 만들고 공유하는 오픈소스 verifiers 라이브러리를 사용했다.

훈련에는 훈련 인프라를 대신 처리해 주는 API(Tinker)를 이용해, 약 40억 파라미터의 경량 Qwen 계열 모델을 학습시켰다. 누적 보상은 740스텝에 걸쳐 약 0.8에서 1.1 이상으로 뚜렷이 올랐고, 별도 평가에서 훈련된 모델은 평균 보상 약 0.89로, Claude Sonnet(약 0.72)이나 GPT-5(약 0.68), 기본 모델(약 0.63)보다 높은 점수를 얻었다. 발표자는 더 엄밀한 검증이 필요하다고 단서를 달면서도, 모델이 실제로 무언가를 배웠다고 평가한다.

주요 인사이트

• 발표에서 인용된 'Verifier의 법칙'(제이슨 웨이)에 따르면, AI를 어떤 과제에 훈련시키기 쉬운 정도는 그 과제를 얼마나 쉽게 검증할 수 있는지에 비례한다. 풀 수 있고 검증하기 쉬운 과제는 결국 AI가 풀게 된다는 것이다.
• RLVR의 매력은 단순함에 있다. 보상 모델을 따로 학습시키거나 방대한 데이터를 모을 필요 없이, 잘 정의된 환경과 성공 여부를 객관적으로 판정할 수단만 있으면 창발적인 절차 학습 효과를 얻을 수 있다.
• Apple의 연구(app world 환경)에서는 단순한 과제 완료 보상만으로도 모델이 API 문서를 먼저 읽고, 시스템 상태를 함부로 가정하지 않으며, 오류가 나도 포기하지 않는 등의 절차를 스스로 습득했다. 이런 행동은 예시로 가르친 것이 아니라 창발적으로 나타났다.
• 이른바 '추론'은 신비로운 능력이라기보다, 검증 가능한 결과를 안정적으로 달성하는 절차를 구성·실행·수정하도록 학습한 결과에 가깝다. 코드·수학·브라우저 조작처럼 성공을 명확히 정의할 수 있는 영역에서 특히 잘 작동한다.

자주 묻는 질문

관련 AI 소식