LLM 사전학습 실전 가이드: 허깅페이스가 공개한 스몰 트레이닝 플레이북 강연 정리

핵심 메시지

• 논문은 성공한 실험과 잘 나온 하이퍼파라미터만 보여줄 뿐, 깨진 데이터 로더나 손실 스파이크 같은 실제 학습 과정의 혼란은 거의 담기지 않는다.
• 처음부터 사전학습할 이유는 연구 가설 검증, 기존 모델이 못 다루는 프로덕션 용도, 전략적 오픈소스 세 가지뿐이며 '컴퓨트가 남아서'는 이유가 되지 못한다.
• 작은 규모의 실험(어블레이션)에 들어가는 비용이 본 학습에 맞먹는다. 3B 모델을 11조 토큰으로 학습한 본 실행이 20만 GPU시간을 넘겼는데, 어블레이션에만 10만 GPU시간 이상이 들었다.
• 직관은 자주 틀린다. 논문 데이터가 정보 밀도가 높아 도움이 될 것 같지만 실제로는 어떤 벤치마크에도 도움이 되지 않았고, 작은 모델에서는 오히려 성능을 떨어뜨렸다.
• 평가 방식 자체가 결과를 바꾼다. 선택지를 프롬프트에 넣고 A~D 중 고르게 하는 형식은 일정 학습량 전까지 무작위 수준에 머물지만, 선택지를 빼고 답 문장의 확률을 비교하는 형식은 훨씬 일찍 신호를 준다.

쉽게 이해하기

강연자는 허깅페이스에서 코드 생성 모델과 소형 언어 모델 시리즈를 직접 학습시켜 온 연구자다. 지난해 공개한 장문의 블로그 겸 책 '스몰 트레이닝 플레이북'을 소개하는 자리에서, 그는 논문이 학습 과정의 전부를 담지 못하는 이유부터 짚었다. 학회 논문은 분량 제한이 있고, 데이터 구축 방식은 법적·경쟁적 이유로 감추며, 엔지니어에게는 중요하지만 학술적으로는 시시해 보이는 내용이 잘려 나간다는 것이다.

플레이북은 '왜·무엇을·어떻게'라는 세 질문의 순서로 짜여 있다. 첫 질문은 애초에 모델을 처음부터 학습시킬 필요가 있느냐다. 프롬프트만으로 해결된다면 학습은 필요 없고, 그것으로 부족하면 기존 모델 위에 중간학습이나 사후학습을 얹는 편이 낫다. 수조 토큰이 필요한 사전학습과 달리 중간학습은 수천억 토큰 수준으로 끝나기 때문이다. 그럼에도 처음부터 학습할 이유는 연구 가설, 기존 모델이 전혀 다루지 못하는 용도, 오픈소스 생태계의 빈자리를 메우는 전략 세 가지로 좁혀진다.

두 번째 질문은 무엇을 학습시킬 것인가다. 아키텍처 선택은 배포 환경에서 출발한다. 메모리 제약이 큰 엣지 환경이라면 전문가를 모두 메모리에 올려야 하는 MoE보다 밀집 모델이나 하이브리드가 낫고, 첫 학습이라면 코드베이스가 더 잘 검증된 밀집 모델로 빠르게 반복하는 편이 안전하다. 그다음은 목표 크기에 가까운 기존 오픈 모델을 기준선으로 삼고, 바꿀 부분만 골라 바꾸는 것이다. 판단 기준은 두 가지 질문으로 압축된다. 이 변경이 내 용도의 성능을 올리는가, 아니면 학습을 빠르게 하는가.

검증 없이 바꾸지 않는다는 원칙이 강연 전체를 관통한다. 강연자는 이를 '편집증적으로 굴어라'라고 표현하며, 평가 코드가 원 저자의 결과를 재현하는지부터 확인하고, 아무리 사소한 커밋이라도 테스트하고, 어블레이션에서는 한 번에 하나만 바꾸라고 조언한다. 소형 모델 3B는 이렇게 만들어졌다. 당시 최선이던 오픈 모델을 기준선으로 삼되 목표 언어에 더 효율적인 토크나이저로 교체하고, 그룹 쿼리 어텐션과 긴 문맥에 유리한 위치 인코딩 방식을 적용했으며, 옵티마이저는 내부 실험 결과 기존 방식이 더 나아 그대로 뒀다.

학습은 매끄럽게 흐르지 않았다. 3B 모델이 이전 세대 1B 모델과 비슷한 성능에 머물러 조사한 결과, 텐서 병렬화 과정에서 각 랭크가 같은 시드를 쓰는 바람에 가중치가 사실상 복제되고 있었다. 나흘치 학습을 되돌리고 한 줄을 고치자 곡선이 크게 개선됐다. 강연자는 첫 프로덕션 실행이 날아가는 것은 자연스러운 일이라고 말한다. 사후학습에서는 강화학습이 워낙 불안정하고 오래 걸려 일정상 선호 학습으로 마무리했고, 여유가 생긴 뒤에야 강화학습으로 수학 벤치마크 점수를 두 배 넘게 끌어올렸다.

주요 인사이트

• 컴퓨트 예산을 본 학습 기준으로만 잡으면 실험할 여유가 남지 않는다. 실제 비용의 절반 가까이가 어블레이션과 디버깅으로 나간다는 수치는, 학습 계획을 세울 때 가장 먼저 반영해야 할 현실이다.
• '어떤 벤치마크를 쓰는가'보다 '그 벤치마크가 신호를 주는가'가 먼저다. 강연자는 좋은 평가의 조건으로 학습이 진행될수록 점수가 오를 것, 시드를 바꿔도 흔들리지 않을 것, 무작위 수준을 넘을 것, 데이터셋 간 우열 순서가 유지될 것 네 가지를 든다.
• 데이터 혼합 비율을 자동으로 찾아준다는 기법들을 직접 써봤지만 결국 각 데이터셋 크기에 비례하는 자연 분포로 수렴했고, 손으로 맞춘 비율이 더 좋았다고 한다. 자동화가 아직 사람의 판단을 대체하지 못하는 영역이다.
• 친칠라 법칙이 말하는 컴퓨트 최적점은 추론 비용을 고려하지 않는다. 학습은 한 번이지만 추론 비용은 계속 나가므로, 지금은 모델 크기를 고정하고 예산이 허락하는 한 오래 학습시키는 쪽으로 관행이 옮겨갔다.
• 팀 규모에 대한 답이 인상적이다. 3B 모델의 사전학습 팀은 네 명, 사후학습 팀은 세 명이었다. 한 사람이 모든 걸 알 필요는 없고 데이터·인프라·평가 각 영역의 경험자가 있으면 된다는 것이다. 다만 평가와 데이터를 맡겠다는 사람을 구하기가 제일 어렵다는 농담도 함께 나왔다.

자주 묻는 질문

관련 AI 소식