LLM 추론 학습 정리: 사고 사슬(CoT)부터 검증 가능한 보상 RLVR과 GRPO 계열 알고리즘까지

핵심 메시지

• 2025~2026년 언어모델의 화두는 사람의 선호를 맞추는 단계를 넘어 수학·코딩처럼 어려운 문제를 푸는 추론 능력으로 옮겨갔다.
• 학습 없이 추론을 끌어올리는 방법은 생각을 길게 쓰는 것(사고 사슬), 여러 후보를 넓게 탐색하는 것, 스스로 되돌아보고 고치는 것 세 갈래로 정리된다.
• RLVR은 사람의 선호를 학습한 보상 모델 대신 정답 채점기·단위 테스트처럼 기계적으로 검증 가능한 신호로 보상을 준다.
• GRPO는 PPO에서 가치 함수를 걷어내고, 같은 질문에 대한 여러 응답을 한 그룹으로 묶어 그 안의 상대적 우열로 학습 신호를 만든다.
• 성능 축은 사전학습, 사후학습(강화학습), 추론 시점 연산 세 가지로 갈라졌고 각각 따로 확장할 수 있다.

쉽게 이해하기

이 강의는 대형 언어모델에 '추론'을 어떻게 넣을 것인가를 두 부분으로 나눠 설명한다. 앞부분은 모델을 전혀 학습시키지 않고 프롬프트만으로 추론을 끌어올리는 방법이고, 뒷부분은 강화학습으로 추론 능력 자체를 훈련시키는 방법이다. 강의자는 사람의 선호를 맞추는 데 집중하던 시기를 지나, 지금은 어려운 수학·코딩 문제를 푸는 능력에 연구가 몰려 있다고 짚는다.

학습 없이 쓰는 방법은 세 갈래다. 첫째는 답을 내기 전에 풀이 과정을 길게 쓰게 하는 사고 사슬 계열이다. 예시에 풀이 과정을 함께 넣어 주는 방식, '단계적으로 생각해 보라'는 한 문장만 넣는 방식, 비슷한 문제를 스스로 떠올려 풀어 본 뒤 원래 문제로 돌아오게 하는 방식, 문제를 잘게 쪼개 순서대로 푸는 방식이 차례로 소개된다. 다만 이 모든 방법의 효과는 바탕이 되는 모델의 크기와 성능에 크게 좌우된다는 점이 반복해서 강조된다.

둘째는 답을 하나만 내지 말고 여러 개를 만들어 그중에서 고르는 '너비' 확장이다. 같은 문제를 여러 번 풀어 가장 많이 나온 답을 택하는 자기 일관성 기법이 대표적인데, 마지막 답을 뽑아낼 수 있는 문제에만 쓸 수 있다는 한계가 있어 답 자체를 모델에게 비교시키는 변형이나 채점 모델을 따로 학습시키는 방향이 함께 소개된다. 중간 단계마다 유망하지 않은 갈래를 잘라내며 탐색하는 방식은 끝까지 가 보고 판단하는 방식보다 더 넓은 범위를 볼 수 있다.

셋째는 '깊이' 쪽이다. 모델도 처음부터 잘못된 방향으로 생각을 시작할 수 있으니, 중간 결과를 평가하고 그 피드백으로 스스로 고쳐 다시 진행하게 만드는 것이다. 평가는 모델 내부에서 할 수도 있고 외부 채점 도구를 쓸 수도 있다. 앞으로만 나아가는 사고 사슬과 달리 뒤를 돌아보고 되돌아올 수 있다는 점이 차이다.

후반부의 핵심은 검증 가능한 보상을 쓰는 강화학습이다. 사람의 선호는 사람마다 달라 보상 모델이라는 대리 모델이 필요했지만, 수학의 최종 정답이나 코드의 단위 테스트 통과 여부는 기계적으로 판정할 수 있다. 여기에 맞춰 널리 쓰이는 알고리즘이 GRPO인데, PPO에서 가치 함수를 없애고 한 질문에 여러 응답을 뽑아 그 그룹 내 평균과 표준편차로 우열을 계산한다. 강의는 이어서 GRPO의 편향과 불안정성을 손본 개선 계열들을 차례로 비교한다.

주요 인사이트

• 보상을 어디서 받는지가 RLHF와 RLVR을 가르는 유일한 차이다. 학습 구조 자체는 같고, 사람 선호를 학습한 보상 모델이냐 기계적 채점기냐만 바뀐다.
• GRPO에는 함정이 있다. 한 그룹에서 뽑은 응답의 채점 결과가 전부 정답이거나 전부 오답이면 상대 비교가 불가능해 학습 신호가 0이 되고, 그 계산은 통째로 낭비된다.
• 개선 알고리즘들은 화려한 아이디어가 아니라 나눗셈을 어디서 하느냐 같은 사소해 보이는 조정에서 큰 차이를 만든다. 응답 길이로 나누면 긴 풀이의 토큰마다 학습 신호가 희석되어 장황한 답을 쓰는 쪽으로 학습이 기울 수 있다.
• 좋은 쪽으로 가는 갱신은 과감하게, 나쁜 쪽으로 밀어내는 갱신은 보수적으로 하도록 상·하한을 다르게 두면 탐색 다양성이 유지되고 성능도 올라간다.
• 이제 성능을 예측할 때 학습 연산량만 보면 안 된다. 같은 추론 예산이라면 더 작은 모델에 추론 시간을 더 쓰는 편이 나을 수도 있어 모델 서빙 설계가 훨씬 까다로워졌다.

자주 묻는 질문

관련 AI 소식