진화 전략으로 LLM 미세조정하기: 역전파 없이 강화학습을 대체하는 그래디언트 프리 학습법

핵심 메시지

• 진화 전략(ES)은 가중치에 무작위 잡음을 더한 모델 여러 개를 만들어 보상을 재고, 보상이 높았던 방향으로 원본 가중치를 옮기는 방식이라 역전파 계산이 전혀 필요 없다.
• 발표자는 차원 축소 없이 수십억 개 파라미터를 그대로 탐색했고, 한 번에 30개만 샘플링해도 쓸 만한 갱신 신호가 나왔다고 밝혔다.
• 카운트다운 과제와 수학 추론 벤치마크에서 하이퍼파라미터를 고정한 ES가 튜닝을 거친 최신 강화학습 구현들과 경쟁할 만한 결과를 냈다.
• KL 발산 페널티를 넣지 않았는데도 ES 쪽이 원래 모델의 행동에서 덜 벗어났고, 보상 해킹으로 보이는 행동도 적게 관찰됐다.
• 보상이 미분 가능할 필요가 없어 양자화된 정수 가중치 모델이나 '모델이 자기가 아는 것을 아는가' 같은 모델 수준 목표까지 최적화 대상으로 삼을 수 있다.

쉽게 이해하기

언어 모델을 실제 서비스에 올리기 전 거치는 미세조정 단계는 지금까지 사실상 강화학습의 영역이었다. 사람의 선호에 맞추거나 추론 능력을 끌어내려면 모델이 스스로 답을 만들어 보고 그 결과로 배워야 하는데, 그런 탐색을 다루는 표준 도구가 강화학습이었기 때문이다. 이번 발표에서 코그니전트 AI 랩의 연구자 신(Shin)은 그 자리를 진화 전략이 대신할 수 있다고 주장했다.

진화 전략의 절차는 단순하다. 원본 모델 가중치에 가우시안 잡음 벡터를 더해 서로 조금씩 다른 모델 30개를 만들고, 각 모델이 받은 보상을 잰 뒤, 보상을 가중치 삼아 잡음 벡터들을 합산해 원본 모델을 그 방향으로 옮긴다. 강화학습이 모델을 고정한 채 출력 토큰 분포에서 표본을 뽑는 것과 달리, 여기서는 정책 자체를 새로 뽑아 보는 셈이다.

발표자는 이 방식이 수십억 파라미터 규모에서는 통하지 않으리라는 통념이 실험으로 뒤집혔다고 말했다. 기존 연구들이 탐색 공간을 줄이려 차원 축소를 시도한 것과 달리, 이 연구는 전체 파라미터 공간을 그대로 두고도 학습이 진행됐고 그것도 아주 작은 개체군으로 가능했다. 왜 30번의 표본으로 충분한지는 아직 설명하지 못한 숙제로 남겨 뒀다.

성능 비교에서는 카운트다운 과제와 여러 수학 추론 벤치마크가 쓰였다. 흥미로운 대목은 실행 안정성이었다. 강화학습은 무작위 시드나 하이퍼파라미터를 조금만 바꿔도 결과가 크게 흔들린 반면, ES는 같은 설정을 고정해 두고도 실행 간 편차가 작았다. 좋은 결과를 얻으려고 여러 번 돌려 봐야 하는 비용까지 따지면 실무에서는 이 차이가 크다는 것이 발표자의 설명이다.

응답을 짧게 만드는 '간결성' 과제에서는 학습 질문 두 개만으로도 모델 전반의 답변이 짧아졌고, KL 페널티 없이도 원본 모델에서 덜 멀어졌다. 발표자는 강화학습이 하나의 해를 좇는 반면 ES는 파라미터 공간에서 평균 보상이 높은 분포를 찾기 때문에 극단적인 편법으로 흐를 여지가 적은 것 아닌가 하는 가설을 내놨다.

주요 인사이트

• 역전파를 하지 않는다는 점은 단순한 구현 편의가 아니라 자원 문제다. 그래디언트를 저장할 필요가 없어 GPU 메모리 요구가 줄고, 정수 가중치라 미분이 곤란한 양자화 모델도 직접 손댈 수 있는 길이 열린다.
• 보상 함수의 제약이 사라지면 최적화 목표 자체가 넓어진다. 발표자는 모델의 자신감과 실제 정답률이 맞아떨어지는지 같은 '모델 수준 속성'을 예로 들었는데, 출력 분포만 건드리는 강화학습으로는 다루기 어려운 목표다.
• 이번 실험은 각종 개선 기법을 일부러 뺀 가장 기본형 ES였다. 학습률 스케줄링도 옵티마이저도 없이 이 정도 성능이 나왔다는 것은, 강화학습이 수년간 쌓아 온 엔지니어링 노하우가 아직 ES 쪽에는 적용되지 않았다는 뜻이기도 하다.
• 모델이 클수록 탐색이 어려워질 것이라는 예상과 반대로, 연구진은 큰 모델일수록 실제로 움직여야 하는 내재 차원이 낮아 오히려 유리할 수 있다는 가설을 검토하고 있다.
• 사전학습 단계에서도 소규모로 ES가 작동하는 것을 확인했지만, 정해진 문장을 따라가면 되는 사전학습은 탐색이 필요 없어 지도학습이 더 자연스럽다는 것이 발표자의 현재 판단이다.

자주 묻는 질문

관련 AI 소식