LLM 사전학습(pretrain) 원리: 데이터 수집·토큰화·베이스 모델 완전 정리

핵심 메시지

• 요즘 LLM은 사전학습(pretraining)·지도 파인튜닝(SFT)·강화학습(RL)의 세 단계로 만들어지며, 이 영상은 첫 단계인 사전학습을 다룬다.
• 사전학습 데이터는 커먼크롤 같은 웹 크롤링에서 시작해 블랙리스트·언어 분류·중복 제거 등 대규모 필터링을 거친다.
• 글은 토큰으로 잘려 모델에 들어가는데, 한국어는 같은 내용이라도 영어의 약 두 배 토큰을 써서 비효율적이다.
• LLM의 핵심은 디코더 온리 트랜스포머로 '다음 토큰 맞히기'를 반복하는 것이며, 무식해 보여도 규모를 키우니 작동했다.
• 사전학습만 마친 베이스 모델은 인터넷 글을 압축한 '문서 시뮬레이터'로, 대화형이 되려면 이후 단계가 더 필요하다.

쉽게 이해하기

영상은 안드레이 카파시의 'LLM 딥다이브'를 함께 따라가며, 대형언어모델이 크게 세 단계로 만들어진다고 정리한다. 무작정 방대한 글을 읽혀 세상 지식을 넣는 사전학습, 어떻게 대답할지 형식을 가르치는 지도 파인튜닝(SFT), 그리고 보상을 주며 더 나은 답을 하도록 다듬는 강화학습(RL)이다. 이번 편은 그중 첫 단계인 사전학습에 집중한다.

사전학습에는 방대한 글이 필요하다. 데이터는 웹 크롤링에서 나오는데, 2007년부터 웹을 수집해 온 비영리 커먼크롤(약 400TB)이 대표적 출발점이다. 회사들은 이렇게 모은 데이터를 그대로 쓰지 않고, URL 단계의 블랙리스트 제거, HTML에서 본문 추출, 언어 분류기 적용, 개인정보 제거, 중복 제거 같은 대규모 필터링을 거친다. 허깅페이스가 공개한 파인웹은 이런 과정을 거친 약 15조 토큰(텍스트만 약 44TB) 규모의 데이터셋으로 소개된다.

정제된 글은 토큰 단위로 잘려 모델에 들어간다. 토큰은 사람 눈에는 단어와 비슷하지만, 실제로는 tiktoken 같은 토크나이저가 자주 등장하는 조각의 분포를 보고 만든 단위다. 여기서 한국어는 불리하다. 같은 내용을 영어로는 76토큰에 담는데 한국어로는 162토큰이 필요할 만큼 두 배 넘게 소모해, 과거 모델이 한국어에 약하고 비용도 비쌌던 이유가 된다. 최신 토크나이저(약 20만 어휘)는 이 비효율을 다소 줄였다. 이 밖에 문서의 시작·끝을 알리는 특수 토큰이나 이미지·오디오용 토큰처럼, 모든 입력을 토큰으로 표현하는 것이 LLM의 입력 방식이다.

모델의 실체는 가운데 신경망을 두고 '다음 토큰 예측'을 반복하는 것이다. 예컨대 10만 개(최신은 약 20만 개) 어휘 중 다음에 올 토큰 하나를 고르는 분류 문제이며, 마지막에 소프트맥스로 확률 분포를 뽑아 다음 토큰을 정한다. 기본 구조는 디코더 온리 트랜스포머다. 방식 자체는 다음 단어를 때려 맞히는 다소 무식한 접근이지만, 규모를 키우자 놀랍게 작동했다는 점이 핵심이다.

역사적 사례로 2019년 GPT-2(15억 파라미터, 문맥 길이 1024 토큰, 약 1000억 토큰 학습)가 언급된다. 카파시가 이를 직접 재현했을 때 H100 8장을 24시간 빌려 약 670달러(약 100만 원)가 들었는데, 2019년 당시에는 약 4만 달러가 들었다. GPU 발전, 더 좋은 데이터, 플래시 어텐션 같은 최적화가 비용을 크게 낮춘 것이다. 사전학습만 마친 결과가 베이스 모델로, 이는 인터넷 글을 손실 압축한 '문서 시뮬레이터'에 가깝다. 그대로는 글을 끝맺지 못하고 계속 이어 쓰지만, 몇 개의 예시만 주면 번역 같은 작업을 해내는 퓨샷 능력을 보인다. 대화형으로 쓰려면 이후의 지도 파인튜닝 등이 필요하며, 그 이야기는 다음 편으로 이어진다.

주요 인사이트

• 모델 아이디어보다 데이터 수집·필터링이 사전학습의 실질적 병목이라는 점은, 실무에서 데이터 작업이 왜 중요한지를 보여준다.
• 한국어가 영어보다 두 배 넘는 토큰을 쓴다는 사실은 한국어 서비스의 비용·성능을 이해하는 핵심 단서다.
• 베이스 모델과 인스트럭트 모델의 차이를 알면, 공개 모델을 쓸 때 무엇을 튜닝할 수 있는지 판단하기 쉬워진다.
• GPT-2 재현 비용이 4만 달러에서 약 100만 원으로 떨어진 사례는 하드웨어·데이터·최적화 발전의 복합 효과를 잘 드러낸다.

자주 묻는 질문

관련 AI 소식