선호 기반 강화학습 PbRL 정리 — SeqRank, LiRE, CPL로 보는 사람 피드백 학습법

핵심 메시지

• 강화학습을 현실에 적용하기 어려운 큰 이유 하나는 창문을 열거나 버튼을 누르는 단순한 동작에도 복잡한 보상 함수 설계가 필요하다는 점이다
• 선호 기반 강화학습은 두 개의 행동 시퀀스 중 어느 쪽이 나은지 사람이 고르게 하고, 그 비교 데이터로 보상 함수를 학습한다
• SeqRank는 질의를 무작위로 짝짓지 않고 순차적으로 이어 붙여, 같은 수의 사람 레이블에서 더 많은 선호 정보를 끌어낸다
• LiRE는 이를 더 밀어붙여 모든 데이터를 하나의 순위 정렬 리스트로 묶고, 선호 확률 함수도 지수 대신 선형으로 바꾼다
• CPL은 보상 함수를 따로 학습하는 단계를 없애고 어드밴티지 개념을 이용해 정책 함수를 한 번에 학습한다

쉽게 이해하기

세미나는 강화학습의 기본기부터 다시 짚는다. 에이전트는 상태를 받아 행동을 고르고, 보상을 받고 다음 상태로 넘어가는 경험을 쌓으며 앞으로 받을 누적 보상을 최대화하도록 학습한다. 이때 어떤 행동이 좋은지 판단하는 가치 함수가 먼저 잘 학습되어야 정책 함수도 제대로 학습된다. 문제는 이 모든 것의 전제인 보상 함수다. 발표자는 로봇 벤치마크에서 창문을 열거나 버튼을 누르는 정도의 동작에도 꽤 복잡한 수식이 필요하다는 점을 보이며, 보상 설계의 어려움이 강화학습을 현실에 적용하기 어렵게 만드는 가장 큰 요소 중 하나라고 말한다.

선호 기반 강화학습(PbRL)은 여기서 출발한다. 에이전트가 만들어 낸 상태-행동 시퀀스 두 개를 사람에게 보여 주고 어느 쪽이 자기 의도에 더 맞는지 고르게 한다. 비교할 쌍을 뽑는 것을 질의 추출, 거기에 답하는 것을 선호 레이블링이라 부른다. 레이블은 왼쪽 선호, 오른쪽 선호, 그리고 모르겠다는 뜻의 절반씩 세 가지로 줄 수 있다. 각 상태-행동에 대한 보상을 별도의 신경망으로 예측해 합한 뒤 소프트맥스로 확률 분포를 만들고, 사람이 준 레이블과의 교차 엔트로피로 보상 함수를 갱신한다. 이렇게 얻은 보상 함수로 나머지 데이터에 보상을 매기면, 그 뒤로는 기존 강화학습 알고리즘을 그대로 쓸 수 있다. 이름은 다르지만 자연어나 이미지 생성 쪽에서 부르는 RLHF와 기법은 사실상 같다고 발표자는 설명한다.

첫 번째 방법론은 2023년에 나온 SeqRank다. 기존에는 리플레이 버퍼에서 무작위로 시퀀스를 뽑아 짝지었기 때문에, 1번과 2번, 3번과 4번을 비교하면 1번과 4번의 관계는 끝내 알 수 없었다. 즉 n개의 레이블에서 n개의 정보만 얻는다. SeqRank는 직전에 비교한 데이터와 새 데이터를 이어서 비교하는 방식과, 지금까지 가장 좋았던 데이터와 새 데이터를 비교하는 방식을 제안한다. 이렇게 하면 비교하지 않은 쌍의 우열도 전이적으로 알 수 있어, 평균적으로 앞의 방식은 약 1.4배, 뒤의 방식은 약 2배의 선호 정보를 얻는다. 벤치마크 실험에서는 뒤의 방식이 가장 일관되게 좋았고, 이 분야에서는 드물게 실제 로봇 팔로 블록을 옮기는 실험까지 진행했다.

두 번째는 2024년 ICML에 발표된 LiRE로, 시뮬레이터 없이 데이터만 있는 오프라인 상황을 가정한다. 목표는 데이터 조각들을 하나의 순위 정렬 리스트로 세우는 것이다. 새 데이터가 들어오면 이진 탐색처럼 리스트 가운데와 비교해 가며 들어갈 자리를 찾고, 우열을 가리기 어려운 데이터끼리는 같은 그룹으로 묶는다. 리스트가 완성되면 개별 데이터와 나머지 모든 데이터의 관계를 알 수 있다. 다만 새 데이터 하나를 넣는 데 여러 번의 비교가 필요해 레이블링 비용이 올라가고, 그래서 리스트 하나의 길이에 상한을 두고 여러 개의 리스트를 만드는 방식을 쓴다. LiRE는 보상 예측값을 지수 함수로 확률화하던 관행도 바꾼다. 지수를 쓰면 작은 차이가 과장되기 때문에, 지수를 걷어 내고 선형 형태로 만들되 음수가 되지 않도록 값을 옮겼다.

마지막은 CPL이다. 앞의 두 방법이 보상 함수를 먼저 학습하고 그것으로 에이전트를 학습하는 2단계 구조라면, CPL은 선호 데이터만으로 정책을 곧장 학습하는 1단계 구조다. 열쇠는 어드밴티지 함수다. 항상 최적 행동을 고른다고 가정하면 최적 행동의 어드밴티지는 0이고 나머지는 모두 음수가 되므로, 어드밴티지는 '최적 대비 얼마나 손해를 봤는가', 즉 리그렛으로 해석된다. CPL은 선호 확률식의 보상 자리에 이 리그렛을 넣고, 어드밴티지를 최대 엔트로피 강화학습의 정책 함수 식으로 치환한다. 그 결과 보상 함수와 가치 함수를 따로 두지 않고 정책 하나만 학습하면 되는 형태가 된다. 발표자는 세 방법론을 정리하며, 최근에는 대형 언어·비전 모델이 보상 함수를 설계하거나 사람 대신 선호를 레이블링하는 연구가 늘고 있어 다음 세미나에서 다루겠다고 예고한다.

주요 인사이트

• PbRL의 병목은 알고리즘이 아니라 사람의 시간이다. 그래서 최근 연구의 초점이 '무엇을 물어볼 것인가'라는 질의 설계로 옮겨 가고 있다
• SeqRank와 LiRE의 차이는 정보 효율과 레이블링 비용 사이의 맞교환으로 읽을 수 있다. 정렬을 완성할수록 얻는 정보는 많아지지만 물어봐야 할 횟수도 늘어난다
• 발표자는 오프라인 벤치마크 D4RL에서는 보상 함수를 제대로 학습하지 않아도 알고리즘 간 성능 차이가 잘 드러나지 않았다고 말하며, 자신도 직접 돌려 보고 같은 인상을 받았다고 덧붙인다
• CPL처럼 보상 모델을 없애는 방향은 자연어 쪽에서 널리 쓰이는 직접 선호 최적화 계열과 같은 문제의식을 공유한다
• 지수 함수로 선호 확률을 만들면 작은 보상 차이가 크게 증폭된다는 지적은, 손실 함수의 형태가 학습 신호의 질을 좌우한다는 점을 보여 준다

자주 묻는 질문

관련 AI 소식