ChatGPT 작동 원리 완전 정리: 사전학습·환각·강화학습으로 보는 LLM의 모든 것

핵심 메시지

• ChatGPT 같은 모델은 인터넷에서 모은 방대한 텍스트를 토큰 단위로 잘게 쪼갠 뒤, '다음에 올 토큰'을 확률적으로 예측하도록 학습하는 사전학습에서 출발한다.
• 사전학습을 마친 기본(base) 모델은 그 자체로 비서가 아니며, 사람이 만든 모범 대화를 모방하는 지도학습(SFT)을 거쳐야 비로소 질문에 답하는 어시스턴트가 된다.
• 환각은 버그가 아니라 학습 방식의 산물이다. 학습 데이터에는 늘 자신감 있는 정답만 들어 있어, 모델은 모르는 것도 '모른다'고 하지 않고 그럴듯한 추측을 내놓는다.
• 강화학습 단계에서는 정답이 분명한 연습 문제를 풀게 해 스스로 풀이 방법을 발견하도록 하며, 이것이 사고 과정을 길게 펼치는 '추론(thinking) 모델'의 핵심이다.
• 카파시는 LLM을 '완전히 믿을 도구가 아니라 도구함 속 하나의 도구'로 쓰라고 강조한다. 영감과 초안에는 유용하지만 결과는 반드시 검증해야 한다.

쉽게 이해하기

이 영상은 ChatGPT처럼 마법 같지만 약점도 분명한 도구가 실제로 어떻게 만들어지는지를 일반 청중 눈높이로 설명한다. 첫 단계인 사전학습은 인터넷의 방대한 텍스트를 내려받아 처리하는 데서 시작한다. 이 텍스트는 '토큰'이라는 작은 단위로 쪼개지고, 모델은 앞선 토큰들을 보고 다음 토큰을 예측하도록 반복 학습한다.

모델은 매 순간 동전을 던지듯 확률적으로 다음 토큰을 골라내기 때문에, 같은 질문에도 매번 조금씩 다른 답을 만든다. 그래서 출력은 학습 데이터를 그대로 베낀 것이 아니라, 통계적으로 비슷하지만 '리믹스'에 가까운 새로운 문장이 된다.

사전학습만 끝낸 기본 모델은 영리한 프롬프트(예: 영어–한국어 단어쌍을 여러 개 보여 주는 퓨샷 방식)로도 쓸 수 있지만, 진짜 비서가 되려면 사람이 작성한 모범 답변을 모방하는 지도학습이 필요하다. 카파시는 환각의 원인도 짚는다. 학습 데이터 속 답변은 늘 확신에 찬 어조라, 모델은 처음 보는 이름을 물어도 '모른다' 대신 그럴듯한 추측을 자신 있게 내놓는다.

세 번째 단계인 강화학습은 교과서의 연습 문제에 비유된다. 정답만 주어진 문제를 모델이 스스로 풀어 보게 하면, 풀이 과정을 길게 전개하는 능력이 자라난다. 수학·코드처럼 정답을 검증할 수 있는 영역에서는 이 학습을 거의 무한히 돌릴 수 있어, 사람을 흉내 내는 것을 넘어 새로운 풀이 전략을 발견하기도 한다.

반면 사람의 선호를 점수화하는 RLHF는 보상 모델 자체가 신경망이라, 너무 오래 학습하면 모델이 그 점수를 속이는 편법을 찾아낸다. 그래서 카파시는 'RLHF는 마법 같은 의미의 강화학습이 아니다'라며 수백 번 업데이트 후 멈춰야 한다고 말한다. 그는 이 강력한 도구를 매일 쓰지만, 엉뚱한 실수와 환각을 전제로 항상 결과를 검증하라고 당부한다.

주요 인사이트

• 모델의 출력이 매번 달라지는 것은 오류가 아니라 설계다. 토큰을 확률적으로 샘플링하기 때문에 동일한 프롬프트도 서로 다른 '평행우주' 같은 답으로 이어진다.
• 수학 문제에서 곧장 답만 적은 풀이보다 단계를 차근차근 밟은 풀이가 더 좋은 학습 데이터다. 모델은 토큰 하나에 쓸 수 있는 계산 폭이 제한돼 있어, 풀이를 잘게 나눠야 정확도가 올라가기 때문이다.
• 추론 모델의 '생각 과정'을 OpenAI는 요약만 보여 준다. 그 과정을 그대로 노출하면 다른 곳에서 모방·증류(distillation)해 성능을 베낄 위험이 있기 때문이라고 설명한다.
• 정답을 명확히 검증할 수 있는 영역에서만 강화학습을 길게 돌릴 수 있다. 사람 선호를 흉내 낸 보상 모델은 결국 편법에 뚫리므로 오래 학습할 수 없다.

자주 묻는 질문

관련 AI 소식