RLVR 강화학습 미세조정 실습: OpenAI 강화 파인튜닝 API로 로그 이상탐지 모델 만들기

핵심 메시지

• RLVR은 사람의 선호나 다른 모델의 평가 대신 코드로 검증 가능한 보상을 쓰는 방식으로, 좋은 응답을 내는 훈련이 아니라 정해진 결과를 달성하는 훈련에 가깝다.
• 지도 미세조정은 모델이 입력을 보자마자 답을 내도록 강제해 계산량을 제한하지만, 강화 미세조정은 모델이 먼저 생각한 뒤 답하도록 허용해 어려운 사례에 더 많은 추론을 쓰는 적응적 처리가 가능해진다.
• 채점기 설계에 판단이 들어간다. 이 실습에서는 정답에 1점, 이상 징후를 놓친 경우에 0점, 정상을 이상으로 잘못 표시한 경우에는 그보다 높은 점수를 줘서 모델이 다소 보수적으로 판단하도록 유도했다.
• 훈련 100건, 검증 50건이라는 작은 규모에서도 미세조정 모델은 정확도와 정밀도, 재현율, F1 점수가 모두 기준 모델을 앞섰고 F1은 0.4포인트 올랐다.
• 강화 파인튜닝 API는 시간당 100달러여서 2시간 22분 훈련에 250달러가 들었고, 강화학습 특유의 불안정성 때문에 여러 번 실험해야 한다는 점이 반복 개선을 가로막는 현실적 제약으로 지적됐다.

쉽게 이해하기

영상은 LLM에 강화학습을 적용하는 시리즈의 세 번째 편으로, 앞서 정리한 세 가지 방식을 짧게 복습하며 시작한다. 사람이 선호를 평가하는 방식은 강력하지만 주석자에 의존해 병목과 비용이 생기고, 이를 다른 모델로 대체한 방식은 비용을 낮춘다. 그리고 가장 최근의 방식이 검증 가능한 보상을 쓰는 RLVR로, 응답을 사람의 선호가 아니라 코드로 짠 규칙에 비춰 채점한다는 점에서 근본적으로 다르다.

발표자는 RLVR의 이점을 이메일 중요도 분류에 빗대 설명한다. 지도 미세조정으로 이 일을 하려면 시스템 프롬프트를 쓰고 수백에서 수천 건의 라벨링된 예시를 보여줘야 하는데, 이 구조에서는 모델이 이메일을 보자마자 곧바로 분류를 내놓아야 해서 쓸 수 있는 계산량이 크게 제한된다. 반면 강화 미세조정에서는 같은 데이터셋을 쓰면서도 모델이 최종 판단 전에 문제를 충분히 생각할 자유를 갖는다.

실습 과제는 하둡 분산 파일 시스템의 로그 블록을 정상과 이상으로 분류하는 것이다. 대규모 인프라가 끊임없이 뱉어내는 로그 가운데 침입 시도나 시스템 장애를 가리키는 신호를 골라내 담당자에게 알리는 상황을 상정했다. 모델에는 분류 결과와 함께 그렇게 판단한 이유를 구조화된 출력으로 내게 했는데, 사용한 추론 모델의 실제 사고 과정을 볼 수 없기 때문에 설명을 따로 받아 근거를 짐작하려는 우회책이다.

데이터 준비 과정에서 불균형 문제가 계속 발목을 잡는다. 원본 데이터는 이상 사례가 2퍼센트 수준이라 100건만 뽑으면 학습 신호가 거의 없다. 그래서 훈련 세트는 이상과 정상을 절반씩 섞었고, 검증은 평가 신호와 실제 분포 사이의 절충으로 8대 2, 테스트는 9대 1로 잡아 이상 5건과 정상 45건을 썼다. 훈련은 1에폭, 배치 크기 5로 총 20스텝이 돌아갔고 2시간 22분이 걸렸는데, 마지막 스텝에서 평균 추론 토큰이 약 600개에서 1,600개로 튀면서 보상이 함께 떨어지는 변동성이 관찰됐다.

결과 비교에서는 기준 모델의 정확도 80퍼센트가 사실상 무의미하다는 점을 먼저 짚는다. 테스트 세트의 90퍼센트가 정상이라 전부 정상으로 찍어도 90퍼센트가 나오기 때문이다. 혼동 행렬을 보면 기준 모델은 이상 5건 중 2건만 맞히고 3건을 놓쳤으며 정상을 이상으로 8번 잘못 표시했지만, 미세조정 모델은 참양성을 두 배로 늘려 놓친 이상이 1건에 그쳤고 오탐도 3건으로 줄었다. 발표자는 비용과 불균형 데이터, 추론 과정을 볼 수 없다는 제약을 한계로 꼽으며 다음 단계로 오픈소스 도구를 이용한 직접 미세조정을 제안한다.

주요 인사이트

• RLVR의 진짜 이점이 정확도 자체보다 계산 예산의 배분에 있다는 설명이 핵심이다. 쉬운 사례에는 토큰을 적게 쓰고 어려운 사례에는 길게 분석하는 적응적 추론은, 입력을 보자마자 답을 강요하는 지도 미세조정 구조에서는 나올 수 없다.
• 보상 함수는 기술 설정이 아니라 정책 결정에 가깝다. 놓친 이상과 잘못된 경보에 서로 다른 점수를 매기는 순간 조직이 어떤 오류를 더 감수할지가 코드에 박히기 때문이다. 이 사례에서는 담당자가 헛수고하는 비용보다 대규모 장애를 놓치는 비용이 훨씬 크다는 판단이 그대로 반영됐다.
• 정확도 하나만 보면 안 되는 이유가 숫자로 드러난다. 90퍼센트가 정상인 테스트 세트에서는 전부 정상이라고 찍어도 90퍼센트가 나오므로, 불균형 데이터에서는 정밀도와 재현율을 묶은 F1 점수를 봐야 실제 개선이 보인다.
• 훈련 곡선의 마지막 스텝에서 추론 토큰이 3배로 뛰며 보상이 떨어진 장면은 강화학습이 단조롭게 좋아지지 않는다는 것을 보여준다. 마지막 체크포인트가 최선이라는 보장이 없다는 뜻이기도 하다.
• 시간당 100달러라는 가격표는 실험 설계 자체를 제약한다. 한 번의 훈련은 감당할 만해도 변동성 때문에 여러 번 돌려야 하는 것이 강화학습의 속성이라, 비용이 반복 개선의 속도를 직접 깎아내린다. 오픈소스 경로가 대안으로 거론되는 이유가 여기에 있다.

자주 묻는 질문

관련 AI 소식