GPT-2 분류 미세조정 실습: 출력 헤드 교체와 캐글 LLM 분류 대회 베이스라인

핵심 메시지

• 사전학습 모델의 몸통은 그대로 두고 출력 헤드만 바꾸는 것이 분류 미세조정의 핵심이다.
• GPT-2 스몰의 5만 257개 어휘 출력층을 2개 출력의 선형층으로 교체해 스팸 여부를 판별한다.
• 전체 파라미터를 먼저 얼린 뒤 마지막 트랜스포머 블록과 최종 정규화층, 새 헤드만 학습시킨다.
• 마스크드 어텐션 구조 때문에 문장 전체를 본 마지막 토큰의 출력만 분류에 사용한다.
• 미세조정 전 50% 미만이던 정확도가 5에폭 학습 뒤 테스트 기준 97%대까지 올라갔다.

쉽게 이해하기

이 영상은 《Build a Large Language Model (From Scratch)》 6장을 함께 읽는 스터디 녹화본입니다. 6장의 주제는 이미 학습을 마친 언어 모델을 가져와 특정 분류 작업에 맞게 다듬는 미세조정입니다. 발표자는 자동차를 튜닝하듯 튼튼한 기본 모델 위에 목적에 맞는 부품만 얹는 작업이라고 설명합니다.

책은 미세조정을 두 갈래로 나눕니다. 하나는 정답 레이블이 붙은 데이터로 분류기를 만드는 방식이고, 다른 하나는 '요약해줘', '번역해줘' 같은 지시문을 따르도록 가르치는 방식입니다. 6장은 앞쪽, 즉 스팸 문자와 정상 문자를 가려내는 이진 분류를 다루고, 지시문 기반 미세조정은 다음 장의 몫으로 남겨둡니다.

데이터 준비 단계에서는 문자 메시지 5,572건 가운데 스팸이 747건뿐이라 한쪽으로 심하게 치우쳐 있다는 점이 문제가 됩니다. 발표자는 정상 문자도 747건만 무작위로 골라 1,494건의 균형 데이터셋을 만든 뒤 학습 70%, 검증 10%, 테스트 20%로 나눕니다. 문장 길이가 제각각이므로 짧은 문장은 GPT-2의 종료 토큰(50256번)으로 채우고 지정한 길이를 넘는 문장은 잘라냅니다.

모델 구조에서 바뀌는 곳은 딱 한 군데입니다. 원래 GPT-2는 768차원 임베딩을 어휘 5만 257개에 대한 점수로 펼쳐 다음 단어를 고르지만, 여기서는 그 출력층을 스팸과 정상 두 개만 내놓는 선형층으로 갈아 끼웁니다. 학습 범위도 좁힙니다. 먼저 모든 파라미터의 기울기 계산을 꺼두고, 새로 붙인 헤드와 최종 정규화층, 그리고 마지막 트랜스포머 블록만 다시 열어 학습시킵니다.

손실 함수로는 교차 엔트로피를 씁니다. 정확도는 맞다·틀리다로 뚝뚝 끊기는 이산 값이라 미분이 되지 않아 가중치를 갱신할 수 없지만, 교차 엔트로피는 연속적인 값이라 역전파로 가중치를 찾아갈 수 있기 때문입니다. 발표 후반부에서는 이 실습의 연장선으로 캐글의 LLM 분류 미세조정 대회에 베이스라인을 제출하는 과정을 화면으로 따라갑니다.

주요 인사이트

• 미세조정 전 모델에 '이 문장이 스팸이면 yes라고 답하라'고 그대로 물으면 문장의 단어만 되뱉을 뿐 분류를 하지 못한다. 분류 헤드가 왜 필요한지를 보여주는 대목이다.
• 여러 토큰 가운데 마지막 토큰의 출력만 쓰는 이유는 마스크드 어텐션 때문이다. 마지막 토큰만이 앞선 모든 토큰을 참조하므로, 앞쪽 토큰까지 함께 넣으면 오히려 성능이 떨어진다.
• 소프트맥스로 확률을 구하든 로짓에 바로 argmax를 적용하든 최종 분류 결과는 사실상 같다. 확률값은 사람이 해석하기 위한 장치에 가깝다.
• 학습에 걸린 시간은 발표자의 노트북 CPU 기준 18분이었고, 다른 참가자 환경에서는 몇 분 혹은 30초 수준으로 줄었다. 이 정도 규모의 분류 미세조정은 개인 장비로도 충분히 재현된다.
• 캐글 대회는 결과 파일이 아니라 노트북 자체를 제출하는 형식이라, 인터넷을 끈 채 미리 업로드해 둔 사전학습 모델을 불러 그 안에서 학습과 예측을 모두 끝내야 한다.

자주 묻는 질문

관련 AI 소식