LLM 강화학습 총정리: RLHF, RLAIF, RLVR 세 가지 방식과 AI 에이전트 시대를 연 검증 가능한 보상

핵심 메시지

• 언어 모델에 강화학습을 적용하면 구조가 단순해진다. 사용자의 요청이 상태, 모델이 정책, 응답이 행동에 해당하고 응답 전체가 하나의 보상을 받는다.
• 강화학습이 지도 미세조정과 결정적으로 다른 점은 피드백이 토큰 단위가 아니라 응답 단위로 주어진다는 것이다. 답을 읽고 좋다·나쁘다를 판정하는 쪽이 훨씬 쉽다.
• RLHF는 사람이 여러 응답의 순위를 매겨 보상 모델을 학습시킨다. 응답을 처음부터 쓰는 것보다 평가가 쉬워 더 많은 학습 데이터를 만들 수 있다.
• RLAIF는 사람 평가자를 언어 모델로 대체해 규모와 비용 문제를 푼다. 대신 유해성·유용성처럼 채점 기준이 명확한 좁은 과제에서 신뢰할 만하다.
• RLVR은 응답의 정답 여부를 코드로 검증한다. 수학·코딩·논리처럼 해석의 여지가 없는 문제에 한정되지만, 딥리서치와 코딩 에이전트 같은 장시간 자율 에이전트의 문을 열었다.

쉽게 이해하기

강화학습은 에이전트가 환경과 상호작용하며 좋은 행동에는 보상을 받고 나쁜 행동에는 받지 못하는 방식으로 시행착오를 통해 배우는 틀이다. 상태, 행동, 보상, 정책이라는 개념이 기본 축이다. 그런데 이 틀을 대규모 언어 모델에 적용하면 그림이 훨씬 단순해진다. 상태 자리에는 사용자의 요청이 오고, 정책 자리에는 언어 모델이 오며, 행동은 응답이 되고, 응답의 품질에 따라 보상이 주어진다. 도구 호출로 실제 세계와 상호작용하는 경우까지 포함해도 대개는 '요청을 받아 응답을 만들고 보상을 받는다'로 압축할 수 있다.

지도 학습이나 자기지도 학습과의 결정적 차이는 피드백의 단위다. 자기지도 학습에서 모델은 입력 다음에 올 토큰을 예측하도록 훈련되고, 그래서 언어 모델은 한 번에 한 토큰씩 글을 만든다. 반면 강화학습은 개별 토큰이 아니라 생성된 응답 전체를 평가한다. 사람 입장에서도 토큰 하나하나를 채점하는 것보다 완성된 답을 읽고 좋다·나쁘다를 말하는 편이 훨씬 자연스럽다.

강화학습은 2022년 챗GPT 시절부터 언어 모델 학습에 쓰였다. 당시에는 인터넷 텍스트로 다음 단어를 예측하는 사전학습, 지시를 따르게 만드는 지도 미세조정, 마지막으로 사람 피드백 기반 강화학습이라는 3단계 구조였다. 지금은 여기서 더 복잡해졌다. 사전학습과 사후학습 사이에 더 질 좋은 데이터를 선별하고 초기 지시 따르기와 긴 문맥 확장을 학습시키는 중간 단계가 생겼고, 사후학습에는 추론 학습, 도구 호출과 구조화된 출력, 증류, 안전·정렬 미세조정 같은 여러 단계가 들어간다. 연구소마다 세부는 다르지만 강화학습은 그 여러 지점에서 반복적으로 등장한다.

첫 번째 방식인 RLHF의 목표는 모델의 응답을 사람의 선호에 맞추는 것이다. 사람이 매번 직접 평가하기는 비싸므로, 보상 모델을 따로 만들어 그 자리를 대신하게 한다. 보상 모델을 만드는 과정은 이렇다. 하나의 요청에 대해 모델이 5개에서 20개 정도의 응답을 만들고, 사람 평가자가 이 응답들의 순위를 매긴다. 그다음 응답 쌍을 보상 모델에 넣어 상위로 매겨진 응답에 더 높은 점수가 가도록, 두 점수의 차이를 벌리는 방향으로 학습시킨다. 좋은 응답을 처음부터 작성하는 것보다 이미 있는 응답을 평가하는 편이 쉽기 때문에 더 많은 데이터를 모을 수 있다는 것이 이 방식의 이점이다.

두 번째 방식인 RLAIF는 사람 평가자 자리에 언어 모델을 앉힌다. 상세한 지침과 예시를 받은 모델이 응답의 순위를 매기고, 그 데이터로 보상 모델을 만든다. 확장성과 비용, 속도 면에서 유리하지만 '언어 모델이 사람의 선호를 알 수 있는가'라는 의문이 남는다. 그래서 유해성이나 유용성처럼 채점 기준을 명문화할 수 있는 좁은 과제에서 더 믿을 만하다. 영상은 두 방식의 성격을 대비시킨다. 사람 평가는 의견이 제각각이라 잡음이 크지만 표본만 잘 뽑으면 편향은 작고, 모델 평가는 일관돼서 잡음은 작지만 학습에서 비롯된 체계적 편향이 있다. 그래서 실제 사후학습에서는 보통 둘을 함께 쓴다.

세 번째 방식인 RLVR은 보상 모델 대신 코드로 정답 여부를 검증한다. 해석의 여지가 없는 수학·코딩·논리 문제여야 가능하다. 2025년 초 딥시크가 공개한 논문이 이 아이디어가 실제로 통한다는 것을 오픈소스로 처음 보였다. 프롬프트에는 생각 과정을 담는 태그와 답을 담는 태그가 지정되고, 모델은 답을 내기 전에 원하는 만큼 문제를 파고들 수 있다. 학습이 길어질수록 추론 흔적도 함께 길어지는데, 이는 모델이 오래 생각할수록 좋은 답이 나온다는 것을 스스로 배운 결과이며 테스트 타임 컴퓨트 스케일링이라 불린다. 이 흐름이 딥리서치, 코덱스·클로드 코드·커서 같은 코딩 에이전트, 그리고 이메일 비서처럼 특정 업무에 맞춰 종단 간으로 학습된 맞춤형 에이전트를 낳았다.

주요 인사이트

• 세 방식은 서로를 대체하는 것이 아니라 평가 주체가 사람에서 모델로, 다시 코드로 옮겨간 계보로 읽는 편이 정확하다. 각각이 감당할 수 있는 과제의 종류가 다르다.
• RLHF와 RLAIF의 차이를 '잡음과 편향'의 교환으로 정리한 대목이 실무적으로 유용하다. 사람은 잡음이 크고 편향이 작으며, 모델은 그 반대다.
• RLVR이 에이전트 시대를 연 이유는 정답을 코드로 확인할 수 있으면 사람 없이도 학습 루프를 계속 돌릴 수 있기 때문이다. 정답이 정의되는 영역이라면 어떤 업무든 맞춤형 에이전트를 만들 여지가 생긴다.
• 가장 곤란한 한계는 희소 보상, 즉 공로 배분 문제다. 긴 실행 과정에서 도구 호출 실패나 잘못된 추론이 섞여 있어도 마지막 답만 맞으면 전 과정이 좋은 것으로 표시된다. 실행이 길어질수록 이 문제는 커진다.
• 강화학습이 정말 새로운 추론 능력을 만들어내는지, 아니면 사전학습에 이미 있던 패턴을 증폭할 뿐인지는 아직 논쟁 중이다. 응답이 길어지는 현상도 똑똑해진 결과인지 학습 목표가 만든 부산물인지 확실하지 않다.

자주 묻는 질문

관련 AI 소식