LLM 학습 과정 정리: 사전학습과 지도 미세조정(SFT), 강화학습(RL), 그리고 평가

핵심 메시지

• LLM 학습은 크게 사전학습과 후처리 두 국면으로 나뉜다. 사전학습은 다음 토큰을 맞히는 과제로 언어와 세계 지식을 익히는 단계다.
• 사전학습은 라벨을 따로 붙일 필요가 없는 자기지도 학습이지만, 진짜 어려움은 규모에 있다. 수천 개 GPU에 모델과 데이터를 나누고 장애 복구와 대용량 전처리 파이프라인을 갖춰야 한다.
• 사전학습만 마친 모델도 꽤 유능하지만 예측하기 어렵고 정렬되지 않은 상태라, 실제 서비스에 쓰려면 후처리가 필요하다.
• 후처리는 모범 답안을 따라 배우는 지도 미세조정(SFT)과, 보상 모델의 채점을 받아 스스로 개선하는 강화학습(RL)으로 이뤄진다. SFT가 바닥을 깔면 RL이 천장을 올린다.
• 정량화하기 어려운 능력은 기준을 먼저 정의한 뒤, 다른 LLM을 심판으로 세워 점수를 매기고 사람이 표본 검수하는 방식으로 측정한다.

쉽게 이해하기

'LLM은 방대한 텍스트로 학습한다'거나 '다음 토큰을 예측한다'는 설명은 흔하지만, 그것이 실제로 무엇을 뜻하는지는 잘 알려져 있지 않다. 구글 개발자 채널의 이 영상은 도움이 되는 조수처럼 행동하고, 지시를 따르고, 도구를 쓰는 모델이 만들어지기까지의 단계를 차례로 짚는다.

첫 단계인 사전학습에서 모델은 텍스트 일부를 받아 그다음에 올 내용을 맞히는 과제를 반복한다. 라벨을 사람이 붙일 필요가 없어 공개된 데이터를 잘라 입력과 출력으로 나누기만 하면 되는데, 이 과정에서 모델은 언어 패턴과 문체는 물론 일정한 세계 지식까지 암묵적으로 익힌다. 영상은 관엽식물 문서를 예로 들며, 몬스테라가 기르기 쉬운 식물이라는 사실 같은 지식이 이런 방식으로 스며든다고 설명한다.

다만 라벨링이 단순한 것과 별개로 사전학습은 거대한 엔지니어링 과제다. 모델이 칩 하나에 들어가지 않으므로 수천 개의 GPU에 모델과 데이터를 나누는 복잡한 병렬화가 필요하고, 장애가 나면 자동으로 복구하는 체계와 페타바이트 규모 데이터를 전처리하는 파이프라인도 갖춰야 한다. 이 과정을 통과하면 어떤 프롬프트든 받아 그럴듯한 응답을 만들어내는 모델이 나오지만, 예측 불가능하고 정렬되지 않은 상태라 그대로 서비스에 쓰기는 어렵다.

그래서 후처리가 이어진다. 지도 미세조정에서는 원하는 행동을 보여주는 모범 질의응답 데이터셋을 만들어, 모델의 응답과 모범 답안 사이 차이를 줄이는 방향으로 가중치를 갱신한다. 도구 호출 문법을 가르치거나 수학 문제 풀이 능력을 올릴 때도 같은 방식을 쓴다. 강화학습에서는 모델이 여러 답을 만들고 별도의 보상 모델이 점수를 매기며, 도움이 되고 안전하고 정확한 응답에 점수를 주고 그렇지 않은 응답에는 벌점을 준다.

영상은 둘의 관계를 '바닥과 천장'에 비유한다. SFT는 목록이나 코드 블록 같은 기본 형식을 갖추게 하는 최소한의 역량을 보장하지만 큐레이션한 데이터 이상으로는 나아가지 못한다. 반면 RL은 수많은 응답 방식을 탐색해 높은 점수를 받은 것만 남기므로, 원래 데이터에 없던 더 효율적이거나 명확한 답변 방식을 찾아낼 수 있다. 둘의 비율에는 아직 정답이 없지만, 현재로서는 SFT 뒤에 RL을 붙이는 조합이 공통된 뼈대다.

주요 인사이트

• 학습만큼 중요한 것이 측정이다. 사전학습은 다음 단어를 얼마나 잘 맞히는지만 보면 되지만, 후처리는 지시를 잘 따르는지, 안전하고 친절한 조수처럼 행동하는지 같은 정렬 문제라 측정이 훨씬 까다롭다.
• 수학이나 코딩처럼 정답이 정해진 영역은 문제 데이터셋으로 정답률을 재면 되고, 그 점수의 변화가 SFT와 RL이 실제로 효과가 있었는지를 알려준다.
• '도움이 되는가' 같은 모호한 능력은 먼저 그 말의 뜻과 좋은 응답의 조건을 명확히 정의하는 데서 출발한다. 정의가 없으면 채점 자체가 불가능하다.
• 평가용 프롬프트 세트는 재려는 능력과 맞아야 한다. 유머 감각을 재고 싶다면 유머러스한 응답이 기대되는 프롬프트로 세트를 구성해야 의미 있는 신호가 나온다.
• 실제로는 사람이 일일이 채점하지 않고 다른 LLM을 심판(오토 레이터)으로 세워 기준에 따라 점수를 매기게 하고, 사람은 표본만 검수한다. 배포 전 더 엄밀한 검증은 여전히 필요하다.

자주 묻는 질문

관련 AI 소식