OLMo 2 개발기: 학습 불안정, 데이터, 중간 학습까지 완전 공개 모델 팀의 기록

핵심 메시지

• OLMo는 2022년 가을 AMD와의 협업 논의에서 출발했다. 처음 제안은 응답 없이 묻혔다가 챗GPT 공개 뒤 상황이 뒤집혀 프로젝트가 시작됐고, 2023년 2월 사내 워크숍이 사실상의 출발점이 됐다.
• 첫 7B 모델의 전체 학습에 35일이 걸렸지만 지금은 같은 모델을 사흘이면 학습시킨다. 하드웨어 세대 교체와 축적된 노하우가 겹친 결과다.
• 70B 학습이 1조 3천억~1조 4천억 토큰 부근에서 멈춰 선 사건이 안정성 조사의 출발점이 됐다. 팀은 같은 증상을 7B에서 재현해 12시간 단위로 실험을 돌리며 원인을 좁혔다.
• 안정성을 되찾은 방법은 극적인 발명이 아니라, 잘 학습된 다른 공개 모델을 기준선으로 두고 한 번에 하나씩 바꿔 보는 지루한 비교였다.
• 데이터를 공개하겠다는 원칙은 큰 제약이기도 하다. 구매 제안이 들어와도 '공개해도 되느냐'는 첫 질문에서 대부분 무산되고, 문서 없이 던져 놓은 중간 버전은 오히려 쓰기 어려운 모델이 됐다는 자체 평가도 나왔다.

쉽게 이해하기

앨런 AI 연구소(AI2)의 완전 공개 언어 모델 OLMo를 만든 사람들이 한자리에 모여 개발 과정을 길게 이야기했다. 사전학습 엔지니어링을 이끄는 더크 흐루너펠트, 데이터를 맡은 카일 로와 루카 솔다이니, 그리고 사후학습을 주로 담당한 진행자까지 네 사람이 초기 컴퓨트 확보부터 실패한 학습, 데이터 전략, 공개 정책까지 실무자 눈높이로 짚는다. 시작은 2022년 가을이었다. AMD와 협업을 논의하며 기존 공개 모델에 3천억 토큰을 더 넣는 제안서를 보냈지만 아무 답이 없었다. 그런데 몇 달 뒤 챗GPT가 나오면서 분위기가 급변했고, AMD가 먼저 연락해 왔다. 이미 판이 바뀐 뒤라 원래 계획은 폐기됐고, 팀은 무엇을 만들지부터 다시 정해야 했다. 40~50명이 자발적으로 모인 2023년 2월 워크숍이 프로젝트의 공식 생일로 꼽힌다. 당시엔 전담 인력도 컴퓨트도 없이 각자 다른 프로젝트를 하면서 곁가지로 시작한 일이었다. 모델 크기를 7B로 잡은 이유도 단순하다. 라마의 가장 작은 크기가 7B였고, 굳이 다시 발명할 필요가 없었기 때문이다.

당시엔 공개된 사전학습 데이터셋이 사실상 없었다. 팀은 고퍼 논문과 라마 1의 문서를 참고해 데이터 출처를 역으로 재구성했고, 커먼 크롤에서 자료를 긁어모으는 일을 2023년 3~4월에 진행해 6월 말 사전학습용 데이터셋을 넘겼다. 비슷한 시기에 나온 다른 공개 데이터셋들도 검토했지만 목표 토큰 수에 한참 못 미쳐 선택지가 되지 못했다. 흥미로운 건 실패 사례가 준 도움이다. 성능이 좋지 않았던 초기 공개 모델들이 학습 중 무엇이 잘못될 수 있는지를 수백 쪽 문서로 남겨 놓았고, 아무것도 모르던 팀에게는 그 기록이 가장 값진 참고자료였다. 첫 7B 모델의 전체 학습에는 35일이 걸렸지만, 지금은 같은 모델을 사흘이면 끝낸다.

가장 뼈아팠던 순간은 70B 학습이 1조 3천억 토큰 언저리에서 더 나아가지 못한 일이다. 원인 추적은 정공법이었다. 큰 모델에서 관찰된 두 가지 증상, 곧 회복은 빠르지만 갈수록 잦아지는 손실 급등과 서서히 커지는 그래디언트 노름을 7B에서도 확인한 뒤, 70B 대신 7B로 실험을 옮겼다. 학습률을 낮추거나 배치 크기를 키워도 특정 임계값 근처에서 다시 터지는 패턴이 반복됐다. 팀은 12시간이면 결과가 나오는 지표를 만들어 하나씩 바꿔 보고, 같은 증상이 없던 다른 완전 공개 모델을 기준선으로 삼아 설정을 비교했다. 다른 팀이 겪은 불안정성 해결책도 가져다 시험해 통하는 것만 남겼다. 지금 돌아보면 그 실패가 팀이 가장 자랑스러워하는 후속 작업으로 이어졌다.

설계 선택을 둘러싼 이야기와 데이터 전략도 솔직하다. 초기화 방식은 영리해 보이는 쪽을 골랐고 1조~2조 토큰까지는 실제로 더 좋았지만, 더 오래 학습하자 문제가 드러났다. 작은 모델에서 큰 모델로 하이퍼파라미터를 옮겨 주는 기법은 모델 크기를 바꿀 때는 통했지만 학습 길이를 바꾸면 최적 학습률이 달라져 아직 쓰지 못하고 있다. 모델을 깊게 할지 넓게 할지 같은 문제도 이론보다는 GPU 메모리에 맞추는 실용적 제약이 먼저 개입한다. 전문가 혼합(MoE) 구조를 택하지 않은 이유도 성능이 아니라 용도였다. 연구자들이 직접 학습시키고 고쳐 쓸 수 있어야 한다는 목적에는 조밀한(dense) 모델이 훨씬 다루기 쉽다는 판단이다. 데이터에 관해서는 '끝없는 언덕'이라는 표현이 나온다. 더 큰 원본 풀을 확보해야 엄격한 필터를 걸고도 필요한 토큰 수를 채울 수 있고, 품질·안전·중복 제거 필터가 서로 얽혀 있어 적용 순서만으로도 탐색 공간이 무한히 늘어난다. 여기에 공개 원칙이라는 제약이 더해진다. 데이터를 팔겠다는 제안은 늘 들어오지만 '공개해도 되느냐'고 물으면 대화가 끝난다.

마지막 화제는 무엇을 공개할 것인가다. 실패한 학습 기록까지 내놓고 싶다는 바람은 있지만, 체크포인트를 변환하고 무엇을 시도했는지 남에게 통하는 언어로 설명하는 일 자체가 큰 비용이다. 공개할수록 지원 부담이 커진다는 현실도 있다. 실제로 블로그와 문서 없이 나간 중간 버전은 지금도 연구에 쓰기 까다로운 모델로 남았고, 팀은 사람들이 헛되이 시간을 쓰게 만드는 것도 비용이라고 본다. 그럼에도 방향은 분명하다. 대학마다 수백 장 규모의 GPU가 들어오고 있으니, 누군가 OLMo로 작은 규모에서 아이디어의 스케일링 법칙을 세우면 AI2가 더 큰 규모로 검증하는 식의 협업이 가능해진다는 기대다.

주요 인사이트

• 학습이 무너졌을 때 가장 먼저 한 일은 원인 가설 세우기가 아니라, 같은 증상을 작은 모델에서 재현해 실험 주기를 12시간으로 줄인 것이다. 비싼 실패를 싼 실험으로 옮기는 것이 조사의 출발점이었다.
• 안정성 문제 해결에는 이미 잘 학습된 다른 공개 모델이 결정적이었다. 데이터와 설정을 모두 볼 수 있는 기준선이 있으면 가능한 개입의 공간을 무작정 뒤지지 않아도 된다. 완전 공개 모델의 가치가 성능 지표 밖에서 드러나는 대목이다.
• '모든 학습이 성공한다면 충분히 도전하지 않은 것'이라는 말이 나온다. 수십억 달러를 걸어야 하는 큰 연구소보다 자원이 적은 쪽이 오히려 위험을 감수할 여지가 있다는 역설이다.
• 사전학습에서는 직관이 거의 사라졌다는 진단이 나온다. 초기에는 데이터를 눈으로 보고 품질을 가늠할 수 있지만, 어느 단계를 넘어서면 2~5%짜리 개선을 쌓아 올리는 실험 게임이 된다. 그래서 20% 빨라지는 최적화가 곧 20% 더 많은 시도를 뜻한다.
• MoE를 채택하지 않은 근거가 성능이 아니라 '누가 이 모델을 이어서 쓸 것인가'였다는 점이 인상적이다. 제품이 아니라 연구 기반을 만든다는 목적이 아키텍처 선택까지 규정한다. 다만 완전 공개가 곧 전부 던지기는 아니다. 문서 없이 나간 중간 모델이 오히려 덜 쓰이게 됐다는 경험은, 공개의 단위가 가중치가 아니라 '이어서 작업할 수 있는 상태'임을 보여 준다.

자주 묻는 질문

관련 AI 소식