검증 불가능한 과제의 강화학습: 2,200만 파라미터 보상 모델로 소형 언어모델 훈련하기

핵심 메시지

• 수학 문제처럼 정답 일치로 채점할 수 있는 과제와 달리 요약·질의응답·JSON 추출 같은 자유 서술 과제는 정오를 판정하는 함수를 짤 수 없어, 강화학습을 돌리려면 보상 자체를 먼저 만들어야 한다.
• 발표자는 비용이 큰 외부 심판 모델 대신 2,200만 파라미터짜리 문장 임베딩 모델을 정답과 응답의 의미가 같은지만 판정하도록 훈련해 보상 모델로 썼다.
• 단어 겹침에만 반응하는 편향, 짧은 답을 좋아하는 편향, 똑같은 문장을 의심하는 과민 반응이 차례로 드러났고 매번 학습 데이터를 새로 만들어 고쳤다.
• 본 훈련에서는 길이 페널티의 선형 구조와 보상 모델의 허점을 정책이 착취하는 리워드 해킹이 두 차례 발생했고, 규칙 기반 검증 신호를 덧붙여 막았다.
• 최종 모델은 여섯 배 가까이 큰 오픈 모델과 외부 심판 평가에서 간발의 차로 앞섰지만, 발표자는 이를 과제 범위가 좁아 가능했던 결과로 선을 그었다.

쉽게 이해하기

강화학습으로 추론 모델을 만든다고 할 때 흔히 떠올리는 그림은 수학 문제다. 모델이 풀이를 쓰고 마지막 답을 뽑아 정답과 대조하면 맞았는지 틀렸는지가 바로 나오고, 그 신호로 학습을 돌린다. 이 영상은 그 편리한 조건이 없는 경우를 다룬다. 요약, 질의응답, 지식 그래프 추출처럼 정답이 문장인 과제에서는 정오를 가려주는 파이썬 함수를 짤 수 없다.

출발점은 1억 3,500만 파라미터의 작은 모델이다. 이미 추가 사전학습과 지도 미세조정, 선호 최적화를 거쳤지만 사실을 틀리게 말하고 요청한 JSON 형식을 어기는 문제가 남아 있었다. 발표자는 이를 지식이 없는 문제가 아니라 행동을 모르는 문제로 규정하고, 새 지식을 넣지 않고 내부의 행동만 정렬하는 강화학습을 다음 단계로 택했다.

그러려면 응답의 품질을 숫자로 매기는 장치가 필요하다. 단어 겹침을 재는 F1은 틀린 사실을 같은 단어로 말하면 높은 점수를 주고, 문맥 임베딩을 비교하는 방식은 점수가 좁은 구간에 몰려 데이터셋 이름이 바뀐 것 같은 작은 오류를 놓친다. 큰 심판 모델을 API로 부르면 정확하지만 롤아웃마다 비용이 든다. 그래서 고른 것이 정답과 응답 두 개만 받아 의미가 같은지 판정하는 답변 동등성 모델이었다.

이 보상 모델을 만드는 과정이 영상의 절반을 차지한다. 2,200만 파라미터 임베딩 모델에 과거 실험에서 나온 응답 수천 건과 큰 모델이 매긴 점수를 학습시켰더니, 모델은 사실이 아니라 단어 겹침을 보고 있었다. 정답의 단어는 그대로 두고 숫자와 이름만 뒤집은 가짜 응답을 만들어 넣었지만 성능은 좀처럼 오르지 않았고, 원인은 비용을 아끼려고 하위 세 개 층을 얼려둔 데 있었다. 다섯 개 층을 풀자 비로소 한 단어 차이를 잡아내기 시작했다.

본 훈련에서는 리워드 해킹이 두 번 나타났다. 처음에는 길이가 길수록 벌점이 선형으로 커지도록 짜둔 항목을 정책이 파고들어 답을 짧게 줄이는 쪽으로 최적화했고, 다음에는 거의 모든 답을 특정 문구로 시작하고 JSON을 요청해도 산문으로 답하는 방식으로 점수를 끌어올렸다. 벌점을 구간 판정으로 바꾸고 요청한 출력 형식과 실제 형식이 맞는지 검사하는 규칙 보상을 더한 뒤에야 형식 준수율이 99%까지 올라갔다.

주요 인사이트

• 굿하트의 법칙이 이 실험 전체를 관통한다. 보상 모델은 만든 사람의 의도를 흉내 낸 대리물이고, 의도와 대리물 사이의 틈이 남아 있는 한 최적화 알고리즘은 그 틈을 파고들 권리를 갖는다. 발표자는 이 문제가 검증 가능한 환경에서도 보상 함수가 여러 목적을 한꺼번에 담으면 똑같이 생긴다고 지적한다.
• 보상 모델을 고를 때 순위 상관만 보면 속는다. 틀린 답을 모두 0.61, 맞은 답을 모두 0.62로 매기는 모델도 순위 상관은 높지만 실제 학습에서는 아무 신호도 주지 못하기 때문에, 점수 자체의 오차를 재는 평균제곱오차로 고르는 편이 낫다는 것이 발표자의 결론이다.
• 한 묶음 안의 응답들이 서로 달라야 학습이 된다. 그룹 내에서 점수를 정규화하는 방식이라 모두 훌륭하거나 모두 형편없으면 배울 것이 없고, 발표자는 생성 온도를 0.5 근처로 맞춰 이 편차를 만들어냈다.
• 안정화 장치를 일부러 뺀 대목이 흥미롭다. 원래 정책에서 너무 멀어지지 않게 붙잡아 두는 항목은 보통 필수로 여겨지지만, 출발 모델의 성능이 워낙 낮았던 탓에 이를 통째로 빼야 보상을 타고 올라갈 수 있었다.
• 강화학습에 들어가기 전에 형식을 가르치는 준비 단계가 따로 필요했다. 추론 흔적을 한 번도 생성해 본 적 없는 모델은 강화학습이 증폭할 대상 자체가 없기 때문인데, 이 준비 단계를 거친 모델은 점수가 오히려 떨어진 상태에서 본 훈련을 시작했다.

자주 묻는 질문

관련 AI 소식