에너지 기반 미세조정 EBFT: 보상 모델 없이 응답 전체의 의미를 맞추는 LLM 학습법

핵심 메시지

• 언어모델 학습은 사전학습의 다음 토큰 예측과 사후학습의 강화학습으로 나뉘는데, 두 방식 모두 뚜렷한 장단점을 갖는다.
• EBFT는 응답 전체를 특징 공간에서 정답 분포와 맞추는 손실을 쓰며, 별도의 보상 모델이나 외부 검증기를 요구하지 않는다.
• 학습하려는 모델의 사본에서 여러 층의 활성값을 특징으로 뽑아 특징 매칭 손실을 만들고, 이를 보상 추정치로 바꿔 정책 경사로 모델을 갱신한다.
• EBFT는 교차 엔트로피를 직접 최적화하지 않는데도 SFT와 RLVR보다 낮은 교차 엔트로피를 얻었고, 정답 보상 없이도 RLVR에 준하는 다운스트림 성능을 보였다.
• 이 방법은 이미 마이크로소프트 내부에서 모델을 미세조정하는 데 쓰이고 있다고 발표자가 밝혔다.

쉽게 이해하기

마이크로소프트 리서치 뉴잉글랜드의 카를레스 도밍고엔리치 선임연구원이 자신들이 제안한 에너지 기반 미세조정, 줄여서 EBFT를 소개하는 짧은 발표다. 출발점은 익숙한 문제의식이다. 대부분의 언어모델은 여전히 다음 토큰을 잘 맞히도록 최적화되지만, 그것이 항상 응답 전체로서 가장 좋은 답으로 이어지지는 않는다는 것이다.

발표는 먼저 학습 단계를 정리한다. 사전학습은 교차 엔트로피 손실을 쓰는 다음 토큰 예측이 주류이고, 사후학습은 중간학습과 지도 미세조정처럼 여전히 다음 토큰 예측에 기반한 단계를 거친 뒤 사람 선호를 쓰는 RLHF나 검증 가능한 보상을 쓰는 RLVR 같은 강화학습으로 이어진다. "The cat is sleeping"을 프랑스어로 옮기는 예시로 두 방식을 비교하는데, 다음 토큰 예측은 문장 안의 각 토큰마다 손실을 계산하고 강화학습은 모델이 만든 롤아웃을 보상 모델로 평가해 그 신호를 되돌린다.

두 방식의 장단점은 거의 정반대다. 다음 토큰 예측은 학습이 안정적이고 신호가 조밀하며 병렬화가 잘되지만, 정답만 흉내 내다 보니 다양성이 부족하고 모델 자신이 만든 문맥으로는 학습하지 않아 분포 이동에 취약하다. 강화학습은 모델 자신이 생성한 문맥에서 학습하므로 분포 이동이 덜하고 정렬이 명시적이지만, 신호가 희소하고 롤아웃 샘플링 탓에 병렬화가 어려우며 결정적으로 보상 모델을 필요로 한다. EBFT는 다양성을 장려하면서 분포 이동에 강하고, 강화학습보다 신호가 조밀하고 병렬화가 쉬우면서 보상이 필요 없는 중간 지점을 목표로 삼는다.

방법 자체는 간결하다. 학습하려는 모델의 사본을 만들어 여러 층의 활성값을 특징으로 뽑고, 토큰 시퀀스 위에 정의된 이 특징 지도를 이용해 특징 매칭 손실을 정의한다. 이 손실은 모델이 만든 조건부 분포가 정답 분포와 임베딩 공간에서 얼마나 잘 맞는지를 잰다. 정답 분포의 기댓값은 문맥마다 사례가 하나뿐이라 실제로 계산할 수 없으므로 가진 정답 쌍으로 추정하는 조건부 버전을 쓰는데, 두 손실의 그래디언트가 같기 때문에 잃는 것이 없다는 점이 핵심이다. 실제 알고리즘은 문맥을 넣어 여러 완성을 생성하고, 문맥과 완성들을 특징 네트워크에 통과시켜 얻은 벡터로 손실과 편향 없는 보상 추정치를 만든 뒤 정책 경사로 모델을 갱신한다.

결과는 SFT, RLVR과 비교해 제시된다. EBFT는 교차 엔트로피를 직접 최적화하지 않는데도 그 값을 명시적으로 최적화하는 SFT보다, 그리고 RLVR보다 낮은 교차 엔트로피를 달성했다. 다운스트림 성능도 SFT보다 낫고, 코딩 정답 여부 같은 보상에 접근하지 않고도 그런 보상을 쓰는 RLVR과 견줄 만한 수준이었다. 발표자는 특징 매칭 손실이 교차 엔트로피와 상관관계를 가지면서도 단일 토큰이 아니라 장거리 보정을 측정한다고 설명하며, 이 경향이 질의응답형 코딩뿐 아니라 구조 없는 코딩 말뭉치와 번역에서도 유지된다고 덧붙인다.

주요 인사이트

• 보상 모델을 없애는 것이 이 방법의 실질적 이점이다. 정답 여부를 판정할 검증기를 만들기 어려운 영역에서도 정답 시퀀스만 있으면 강화학습 계열의 이점을 일부 가져올 수 있다는 뜻이기 때문이다.
• 직접 최적화하지 않은 지표에서 더 좋은 값이 나왔다는 결과는 교차 엔트로피를 목표로 삼는 것이 반드시 교차 엔트로피에 최선은 아님을 보여준다. 응답 전체 수준의 정렬이 토큰 단위 정렬을 부수적으로 개선한 셈이다.
• 특징을 외부 모델이 아니라 학습 대상 모델의 사본에서 뽑는다는 설계가 비용 구조를 바꾼다. 별도의 보상 모델을 학습하고 유지할 필요가 없어지고, 특징 추출이 기존 순전파 안에서 해결된다.
• 조건부 특징 매칭 손실의 그래디언트가 원래 손실과 같다는 점이 이 방법을 실용적으로 만든다. 문맥마다 정답이 하나뿐이라는 현실적 제약이 근사가 아니라 등가 교환으로 처리되기 때문이다.
• 구조가 있는 질의응답 코딩과 구조가 없는 코딩 말뭉치, 그리고 번역까지 같은 경향이 유지됐다는 점은 특정 과제 형식에 기댄 결과가 아님을 시사한다.

자주 묻는 질문

관련 AI 소식