진화 전략으로 LLM 미세조정? EGGROLL·ES at Scale 논문으로 본 부활 배경

핵심 메시지

• 진화 전략(ES)은 모델을 조금씩 무작위로 변형해 성능(적합도)을 재고 좋은 방향을 택하는 최적화 기법이다.
• 심층 신경망은 매개변수가 서로 얽혀 있어 ES가 오래 외면받았지만, OpenAI의 2017년 논문이 가우시안 노이즈 방식으로 물꼬를 텄다.
• ES는 정답 신호가 촘촘한 사전학습엔 불리하지만, 답 전체에 점수 하나만 주어지는 RL 미세조정에는 오히려 잘 맞는다.
• 2025년 'ES at Scale' 논문은 수십억 매개변수 모델을 단 30개 집단으로 학습해 연산량을 약 300배 줄였다.
• 'EGGROLL' 논문은 교란을 LoRA 형태로 구조화해 계산을 재사용, 추론만으로 하드웨어 친화적인 학습을 가능하게 했다.

쉽게 이해하기

영상은 한때 '박물관에 넣을 만큼 낡은' 최적화 방법으로 여겨지던 진화 전략(Evolution Strategies)이 최근 대형 언어모델(LLM) 문헌에서 다시 주목받는 흐름을 설명한다. 핵심 아이디어는 간단하다. 모델의 한 버전에 작은 무작위 변형을 여러 개 만들고, 각각의 성능(적합도)을 측정한 뒤 좋은 방향에 가중치를 줘 다음 버전을 만들고 이를 반복한다.

문제는 심층 신경망이었다. 매개변수가 200만 개만 되어도 손잡이 수백만 개를 동시에 무작위로 돌리는 셈이라, 대부분의 변형은 성능을 망가뜨린다. 게다가 신경망 매개변수는 서로 밀접히 얽혀 있어, 상호작용을 담는 공분산 행렬을 쓰면 항목이 수조 개로 불어나 저장·갱신이 사실상 불가능했다.

전환점은 OpenAI의 2017년 논문 '강화 학습의 확장 가능한 대안으로서의 진화 전략'이다. 복잡한 구조를 학습하는 대신 기본적인 가우시안 노이즈로 모든 매개변수를 무작위 방향으로 조금씩 흔들고 성능 변화를 측정한 뒤, 각 방향에 성능만큼 가중치를 줘 평균을 낸다. 표본을 충분히 늘리면 잡음이 상쇄되고 유용한 방향이 드러난다.

다만 ES는 토큰마다 명확한 교사 신호가 나오는 다음 토큰 예측(사전학습)에는 불리하다. 반면 생성된 답 전체에 점수 하나만 주어지는 LLM의 강화학습(RL) 미세조정은 정반대 상황이라, 전체 결과에 대한 보상만 필요한 ES가 오히려 잘 들어맞는다. 이를 실증한 것이 2025년 9월 'Evolution Strategies at Scale'(LLM Fine-Tuning Beyond Reinforcement Learning) 논문으로, 수십억 매개변수 모델에서 ES를 처음 시험했다.

이 논문은 행동 공간이 아닌 '매개변수 공간'을 탐색해 모델의 추론 방식 자체를 조금씩 바꾼다. 놀랍게도 수만 개가 아니라 단 30개 집단만으로 경쟁력 있는 성능을 냈는데, 이는 연산량을 약 300배 줄인 것이다. 개선에 유용한 방향이 훨씬 낮은 차원에 몰려 있고, 초대형 신경망이 예상보다 매끄럽게 동작하기 때문으로 설명된다.

주요 인사이트

• 산꼭대기 비유가 쓰인다. 발을 디딜 방향은 수십억 개지만 실제 오르막은 극히 일부여서, 무작위로 30걸음만 내디뎌 평균을 내면 하강 잡음은 상쇄되고 상승 신호만 강화된다.
• 2025년 11월 'Evolution Strategies at the Hyperscale' 논문(방법 이름 EGGROLL)은 시스템 병목을 겨눈다. 전체 가중치를 무작위로 흔드는 대신 교란을 LoRA 형태의 저랭크 업데이트로 구조화해, 한 번의 순방향 계산을 재사용하며 LoRA만 교체해 여러 교란을 평가한다.
• 각 교란은 저랭크지만 여러 개를 평균 내면 최종 업데이트는 저랭크에 갇히지 않아, 풍부한 고차원 갱신을 더 싸게 얻는다. 역전파가 필요 없어 추론만으로 학습이 가능하다.
• 성능 비교도 제시된다. 동일 하드웨어·시간 조건에서 EGGROLL은 카운트다운 벤치마크에서 검증 정확도 35%로 GRPO의 23%를 앞섰고, GSM8K에서는 훨씬 많은 병렬 세대를 돌릴 수 있었다고 보고됐다. 다만 발표자는 GRPO와의 우열을 단정하기엔 더 많은 실험이 필요하다고 덧붙인다.

자주 묻는 질문

관련 AI 소식