롱호라이즌 강화학습, AI 에이전트가 긴 과제에 약한 이유 — 갈락티카 개발자의 회고

핵심 메시지

• 좋은 베이스 모델만으로는 부족하다. 2주 차이로 공개된 갈락티카와 챗GPT의 갈린 운명이 강화학습의 가치를 보여준 사실상의 자연 실험이었다.
• 2022년 인스트럭트GPT에서는 10억 파라미터 모델이 RLHF만으로 1750억 파라미터 모델을 앞섰다.
• 메타 시절 라마2 기반으로 '생각 태그' 안쪽을 강화학습으로 최적화하는 시도를 했지만, 되돌아보기 같은 창발 행동은 나타나지 않았다. 더 좋은 베이스 모델과 더 큰 컨텍스트, 더 많은 RL 컴퓨트가 있어야 했다.
• 긴 호흡 과제에서는 그래디언트 분산이 길이에 따라 커지고, 보상이 희소해 기여도 배분이 어려우며, 궤적 길이가 제각각이라 최적화가 흔들린다.
• 프런티어 모델들에 각각 10만 달러를 주고 1년 동안 축구 경기 결과에 베팅하는 머신러닝 모델을 만들게 했더니 모두 손실을 냈다.

쉽게 이해하기

발표는 두 사람이 나눠 진행했다. 앞부분은 런던 기반 강화학습 회사 제너럴 리즈닝의 CEO 로스 테일러가 2020년부터 2023년까지 언어모델 초창기를 회고하고, 뒷부분은 공동창업자 청시 테일러가 긴 호흡(long horizon) 과제를 풀기 위해 필요한 알고리즘과 환경, 컴퓨트를 다뤘다. 테일러는 메타 AI에서 추론 리드로 갈락티카와 라마 사후학습을 맡았던 인물이다.

그가 꺼낸 이야기의 출발점은 챗GPT보다 2주 먼저 공개됐던 과학 특화 모델 갈락티카다. 두 모델 모두 괜찮은 베이스 모델에서 출발했지만, 갈락티카는 베이스 모델 데모를 그대로 공개했고 챗GPT는 인간 피드백 기반 강화학습 파이프라인을 얹은 상태였다. 그는 이 차이를 '좋은 베이스 모델만으로는 충분하지 않다'는 교훈으로 정리하며, 강화학습이야말로 언어모델을 장난감에서 제품으로 넘긴 요소였다고 본다.

갈락티카가 남긴 기술적 아이디어도 짚었다. 1050억 토큰 규모의 선별 코퍼스로 데이터 효율을 끌어올렸고, 당시 상식이던 '1에폭 이상 반복 학습 금지'를 깨고 다중 에폭 학습의 실증을 내놨으며, 답을 내기 전에 태그 안에서 추론에 연산을 쓰는 '생각 토큰' 개념을 담았다. 수학 벤치마크에서 68%로 GPT-3.5의 49%를 앞섰고, 사고 연쇄에서는 300억 파라미터 모델이 5400억 파라미터 PaLM의 19%를 두 배 가까이 웃도는 36%를 기록했다고 소개했다.

이후 그는 라마2를 수학·과학 데이터로 추가 사전학습한 뒤, 검증 가능한 보상으로 PPO를 돌리되 강한 결과 보상 모델로 가치 모델을 초기화하는 방식을 시도했다. 내부적으로는 최고 수준의 수학·추론 성능이 나왔지만, 나중에 o1과 R1의 특징이 된 추론 시간 확장과 되돌아보기 행동은 끝내 나타나지 않았다. 컨텍스트가 4000토큰에 불과했고 베이스 모델의 수학 능력이 약했던 그 상황을 그는 '가장 순수한 형태의 쓰라린 교훈'이라 부른다.

뒷부분에서 청시는 긴 호흡을 '엔지니어링 문제가 아니라 사고방식'이라고 못박았다. 페르마의 마지막 정리는 수학자가 10년 넘게 논문을 읽고 메모하고 산책하며 얻은 결과인데 토큰으로 환산하면 수백억 규모일 수 있다는 것이다. 지금의 100만 토큰 컨텍스트로는 부족하니 압축을 쓰고 압축 과정 자체에도 강화학습을 적용하는 접근을 소개했고, 프런티어 모델에 10만 달러씩 주고 1년간 프리미어리그 경기에 베팅하는 모델을 만들게 한 벤치마크에서 전부 손실이 났다는 결과를 공개했다.

주요 인사이트

• 가치 모델(크리틱)은 긴 호흡에서 분산을 줄여 주고 궤적 단위로 작동해 압축과 잘 맞지만, 정책과 별개로 또 하나의 모델을 학습해야 해 GRPO보다 복잡하다는 대가가 따른다.
• 파이프라인 RL은 추론이 끝나기를 기다리지 않고 시퀀스 생성 중에 학습을 시작해 GPU를 놀리지 않는 기법이다. 발표자 경험상 오프폴리시가 8스텝까지 벌어지는 것은 괜찮았다.
• 추론이 몇 주씩 걸리는 긴 호흡에서는 그 8스텝 여유마저 넘겨 GPU가 놀게 된다. 가치 모델로 에피소드가 끝나기 전에 기대값을 만들어 학습하면 GPU는 채울 수 있지만 대신 가치 모델 편향이 들어온다.
• 컨텍스트 한계를 보완하는 도구로 스크래치패드 역할의 파일 시스템, 이전 추론을 되짚는 자기 검색, 이전 결과 위에 쌓는 아카이브가 제시됐다. 다만 에이전트가 계산 없이 이전 답만 가져다 쓰는 '치팅'을 막을 장치가 필요하다.
• 현재 업계가 코딩과 절차형 과제에 지나치게 치우쳐 있다는 지적이 나왔다. 해답이 한두 개로 좁혀지는 과제만 다루다 보니 열린 결말의 문제와, 다른 참가자가 존재하는 현실 세계의 복잡성이 충분히 훈련되지 않는다는 것이다.

자주 묻는 질문

관련 AI 소식