다목적 RLHF 연구 정리: 보상 모델을 쪼개고 집단별 선호 충돌까지 다루는 정렬 기법

핵심 메시지

• 텍스트 생성에서는 사람이 전체 응답을 직접 만들어 보여주는 모방 학습이 비현실적이라 두 응답 중 하나를 고르는 선호 피드백이 표준이 됐다.
• "이 응답이 전반적으로 좋은가"는 사람도 답하기 어려운 질문이라, 유용성·무해성처럼 축을 나눠 물으면 데이터 품질이 올라간다.
• 보상을 축별로 나누면 가중치가 바뀔 때마다 전체를 재학습해야 하는 문제가 생기는데, 모델 병합과 다목적 디코딩이 이를 우회한다.
• 단순 선형 합산은 "매우 유용하지만 위험한 답"을 평균으로 덮어버리기 때문에, 공정성 정도를 조절하는 일반화된 집계가 필요하다.
• 선호 데이터가 서로 모순될 때는 사용자 집단을 나눈 뒤 각 집단의 목표 집합이 겹치는 영역을 찾는 방식으로 균형을 맞춘다.

쉽게 이해하기

이 발표는 카네기멜런대의 한 연구 기관 세미나에서 머신러닝 박사과정 학생이 지도교수와 함께한 연구를 소개한 것으로, 주제는 다목적·다집단 RLHF다. 챗봇이 두 응답 중 어느 쪽이 더 나은지 묻는 그 익숙한 화면이 바로 이 기법의 데이터 수집 장면이다.

발표자는 먼저 정렬이 왜 필요한지 설명한다. 공개된 사전학습 모델도 꽤 괜찮은 답을 내놓지만, 예를 들어 기후변화의 원인을 요약해 달라고 하면 내용은 맞아도 사용자가 원하는 형태가 아닐 수 있다. 항목으로 정리된 답을 선호한다는 신호를 주면 모델이 그런 형식으로 답하도록 학습시킬 수 있다는 것이다.

자율주행처럼 사람이 시범을 보여주는 모방 학습은 텍스트 생성에 잘 맞지 않는다. 챗봇이 매번 사용자에게 "정답 응답을 직접 써 달라"고 요구할 수는 없기 때문이다. 대신 모델이 두 응답을 생성하고 사람은 평가만 하는 선호 피드백이 훨씬 수집하기 쉽고, 이 데이터로 사람의 암묵적 보상 모델을 추정할 수 있다.

표준 절차는 선호 데이터로 보상 모델을 학습해 응답에 점수를 매기고, 그 보상을 강화학습으로 최대화하되 기반 모델에서 너무 멀어지지 않도록 KL 페널티를 두는 것이다. 하지만 이 틀에는 약점이 있다. 여행 계획이라면 비용·시간·편안함·안전을, 논문이라면 유창성·간결성·정확성을 함께 봐야 하는데, "전반적 품질"이라는 하나의 축으로 사람에게 묻는 것도, 작은 보상 모델이 그것을 담아내는 것도 어렵다.

그래서 품질을 축으로 분해한다. "감기를 빨리 낫게 하려면 약을 어떻게 먹어야 하나"라는 질문에 "고용량으로 복용하라"는 답과 "라벨 지시를 따르라"는 답이 있을 때, 어느 쪽이 더 낫냐고 물으면 답하기 어렵지만 어느 쪽이 더 안전한지, 더 유용한지를 물으면 명확해진다. 이렇게 유용성과 무해성 보상을 각각 학습한 뒤 결합하는 것이 고전적인 다목적 RLHF다.

발표는 여기서 네 가지 실무적 질문을 차례로 던진다. 가중치가 바뀔 때마다 재학습해야 하는 비용은 목적별 모델을 학습해 파라미터를 병합하거나 토큰 생성 시 로짓을 결합하는 방식으로 줄인다. 가중치를 모를 때는 사용자가 어떤 축을 근거로 답했는지에서 그 사람이 중시하는 속성을 역으로 추정한다. 선형 합산이 위험한 답을 평균으로 가려버리는 문제는 최솟값 기준까지 포괄하는 일반화된 가중 집계로 다루고, 집단 간 선호가 충돌할 때는 데이터를 군집으로 나눈 뒤 각 집단의 목표 집합이 교차하는 영역을 찾는다.

주요 인사이트

• "이 답이 더 좋다"보다 "이 답이 더 안전하다"가 사람에게 훨씬 쉬운 질문이다. 라벨링 설계를 바꾸는 것만으로 데이터 품질이 달라진다.
• 사용자가 어떤 기준으로 답했는지 자체가 정보다. 안전성을 근거로 답했다면 그 사람에게 안전성이 중요하거나, 두 응답의 안전성 차이가 컸다는 뜻이다.
• 선형 합산은 트레이드오프를 덮는다. 유용성 만점·무해성 0점인 답이 절반씩 가중되면 "그럭저럭"으로 보이지만 실제로는 위험한 답이다.
• 최솟값을 보는 방식은 여러 목표 사이의 공정성을 보장하고, 발표자의 틀에서는 집계 파라미터를 조절해 선형 합산과 최솟값 사이를 연속적으로 오갈 수 있다.
• 보상을 먼저 합쳐 하나로 만들어 학습하는 단순한 방법은 실험에서 불안정했다. 보상 분산이 크고 일부 값이 음수가 되면 집계 자체가 의미를 잃기 때문이다.
• 질의응답에서 나온 지적처럼 사람은 질문의 첫 항목을 무의식적으로 고르기도 한다. 발표자는 순서를 바꿔 이런 편향을 걸러낼 수 있다고 답했다.

자주 묻는 질문

관련 AI 소식