LLM 강의 정리: 데이터셋 구축과 SFT, 기술보고서가 끝까지 공개하지 않는 학습의 나머지 절반

핵심 메시지

• 라마3나 딥시크 V4처럼 상세한 기술보고서도 인프라와 아키텍처는 길게 설명하지만 데이터 구성은 거의 한 문단으로 끝난다.
• 데이터를 공개하지 않는 이유로는 그것이 진짜 해자이기 때문이라는 점과, 저작권이 깨끗하지 않아 법무적으로 공개가 어렵다는 점이 함께 거론된다.
• DCLM 사례에서 커먼크롤 원본 중 최종적으로 남는 데이터는 1.4% 남짓이며, 언어 판별과 URL 필터, 중복 제거, 모델 기반 필터링에서 대부분이 잘려 나간다.
• 최근에는 위키피디아 같은 고품질 스타일로 웹 텍스트를 다시 쓰는 리프레이징 방식의 합성 데이터가 성능을 끌어올린다는 연구가 이어지고 있다.
• SFT는 새 지식을 주입하기보다 사전학습 모델이 이미 가진 지식을 원하는 형식으로 끄집어내는 역할이라는 관점(피상적 정렬 가설)이 제시된다.

쉽게 이해하기

강의는 지난 회차에서 다룬 추론과 평가를 짧게 복습하며 시작한다. 프리필과 디코드가 나뉘어 처리되기 때문에 여러 기법이 나왔고, 프리필은 여러 토큰을 한 번에 처리해 컴퓨트 바운드인 반면 배치 크기가 1인 디코드는 토큰을 하나씩 만들어야 해서 메모리 쪽 부담이 크다. 첫 응답까지의 시간과 토큰 사이 간격이라는 두 지표는 서로 트레이드오프 관계이며, 연속 배칭과 페이지드 어텐션, 스페큘레이티브 디코딩이 이를 완화하는 방법으로 소개됐다.

본론은 그동안 수업에서 거의 다루지 않은 데이터로 넘어간다. 강사는 데이터가 생각보다 훨씬 중요한데도 저평가된다고 지적하면서 두 가지 이유를 든다. 아키텍처나 인프라만큼 화려하지 않고 노동 집약적이라는 점, 그리고 정보 자체가 베일에 싸여 있다는 점이다. 라마3 기술보고서는 학습 중 GPU 장애 상황까지 보고하면서도 데이터에 대해서는 토큰 수와 간단한 전처리 정도만 적고, 최근 60쪽 분량의 딥시크 V4 보고서 역시 희소 어텐션과 인프라는 상세하지만 데이터를 어떻게 만들었는지는 거의 한 문단에 그친다.

데이터를 모으는 일 자체가 쉽지 않다는 점도 구체적으로 짚는다. 웹 호스트에 부담을 주지 않으면서 크롤링해야 하고, 책처럼 품질 높은 자료는 저작권이 걸려 있으며 그림자 도서관에서 가져오면 법적 문제가 된다. 이용약관이나 robots.txt로 크롤링을 막는 사이트도 급격히 늘어, 2024년 연구에서는 전면 차단 영역이 크게 증가한 것으로 나타났다. 결국 퍼블릭 도메인 데이터를 쓰거나, 구글과 레딧처럼 별도 라이선스 계약을 맺거나, 공정 이용을 주장하는 세 갈래로 정리된다.

필터링과 중복 제거는 데이터 파이프라인의 중심이다. 목표 분포를 정해 두고 원시 웹 데이터에서 비슷한 품질의 문서를 골라내는 접근이 쓰이며, n-gram 언어모델이나 간단한 분류기가 동원된다. 중복은 학습 효율과 암기 문제 모두에 영향을 준다. C4 데이터에서 라이선스와 약관 텍스트가 6만 번 등장했다는 사례가 그 이유를 보여준다. 그 결과 DCLM에서는 영어 필터로 절반이 사라지고 URL 필터와 길이·중복 제거를 거친 뒤 모델 기반 필터에서 다시 90% 가까이 잘려, 최종적으로 남는 것은 1.4% 수준이다.

합성 데이터는 최근의 흐름으로 소개된다. CMU와 애플의 연구는 웹 텍스트를 위키피디아 스타일로 다시 쓰게 해 학습 속도를 높였고, Phi-4는 웹 데이터와 리라이팅 데이터, 완전 합성 데이터를 섞으면서 합성 데이터에 훨씬 많은 에폭을 배정했다. 메타의 스케일링 실험에서는 완전히 생성된 텍스트만 쓰면 성능이 나쁘지만, 실제 데이터와 섞거나 리프레이징만 적용하면 커먼크롤 단독보다 나은 결과가 나왔다. 다만 강사는 리라이팅을 하려면 이미 좋은 모델이 있어야 한다는 닭과 달걀 문제를 함께 언급한다.

마지막 절반은 SFT다. 아카데믹 과제 데이터로 학습할지 사용자 프롬프트로 학습할지는 오래된 갈림길이며, 둘 다 다음 토큰 예측이라는 점은 같고 데이터 분포만 다르다. FLAN 계열처럼 1800개가 넘는 과제를 모아 학습하면 과제 다양성이 클수록, 모델이 클수록 성능이 좋아지지만, 사고 사슬 벤치마크와 비사고 벤치마크의 결과 차이는 난이도가 아니라 분포 차이에서 온다고 해석한다. 아카데믹 과제는 입력이 길고 정답이 짧아 채점이 쉬운 대신, 입력이 짧고 응답이 길어야 하는 대화 모델과는 정반대 분포라는 점이 한계로 지적된다.

SFT를 보는 또 다른 시각으로 LIMA의 피상적 정렬 가설이 소개된다. 지식은 이미 사전학습에서 모델 안에 들어 있으므로 SFT는 새 지식을 주입하는 것이 아니라 형식을 맞춰 내재된 지식을 끌어내는 역할이며, 그래서 1000개 남짓의 프롬프트만으로도 경쟁력 있는 결과가 나왔다는 주장이다. 강사는 여기에 정답은 없다고 정리하면서, 모델이 갖고 있지 않은 지식을 넣으려면 양이 필요하고 이미 갖고 있다면 적어도 된다는 식으로 목적에 따라 달라진다고 본다. 끝으로 강화학습 없이도 추론 모델을 만드는 길로 추론 증류를 소개하는데, 답만 학습시키면 모델이 정답을 외워버릴 수 있는 반면 풀이 과정 전체를 담은 트레이스로 학습시키면 선생이 문제 푸는 과정을 보고 배우는 것에 가깝다는 비유를 든다.

주요 인사이트

• 기술보고서의 침묵 자체가 신호다. GPU 장애 통계까지 공개하는 보고서가 데이터만 감춘다면 그것이 가장 지키고 싶은 자산이라는 뜻이다.
• 학습 데이터를 재현할 수 없다는 점 때문에, 가중치가 공개된 모델이라도 학습 과정을 그대로 복제하는 일은 사실상 불가능하다.
• 소버린 AI를 두고 '중국 모델을 베낀 것 아니냐'는 비판에 대해, 강사는 데이터 구축과 대규모 학습·배포 인프라 경험을 무시하는 발언이라는 개인 의견을 밝힌다.
• 인터넷 데이터가 무한해 보여도 필터링과 중복 제거를 거치면 몇 퍼센트만 남으며, 최근에는 원본 자체가 AI 생성 글로 오염될 가능성까지 고려해야 한다.
• 사전학습·미드트레이닝·포스트트레이닝의 경계는 흐려지고 있으며, 딥시크 V4는 초기부터 긴 컨텍스트로 학습하고 미니CPM 계열은 학습률 감쇠 구간에 SFT 데이터를 섞는 식으로 SFT가 앞 단계로 편입되고 있다.
• 추론 증류는 강화학습 없이 추론 능력을 옮기는 길이지만, 대부분의 상용 모델이 내부 추론 트레이스를 그대로 주지 않기 때문에 출발점이 될 추론 모델을 먼저 확보해야 한다는 제약이 있다.

자주 묻는 질문

관련 AI 소식