LLM 동작 원리 쉽게 정리: 토큰 예측과 학습·추론, 어텐션과 환각이 생기는 이유까지

핵심 메시지

• 대형 언어 모델은 앞선 문맥을 보고 다음에 올 토큰의 확률을 계산해, 답을 한 번에 내놓지 않고 하나씩 이어 붙인다.
• 토큰은 단어일 수도 있고 단어 조각일 수도 있으며, 모델은 글자를 사람처럼 읽는 대신 토큰의 순서를 입력으로 받는다.
• 학습은 예측한 토큰과 실제 정답을 비교해 모델 내부의 수많은 숫자, 즉 파라미터를 조금씩 고쳐 나가는 과정이다.
• 대량의 글로 언어 감각을 익히는 사전학습만으로는 부족해, 지시에 맞춰 답하는 법을 익히는 미세조정 단계가 더해진다.
• 같은 질문에 매번 답이 조금씩 다른 이유는 확률 분포에서 토큰을 고르기 때문이며, 온도 설정이 그 다양성을 조절한다.

쉽게 이해하기

이 영상은 많은 사람이 매일 쓰는 ChatGPT가 답을 만드는 방식을 짧고 간단하게 풀어 준다. 출발점은 대형 언어 모델이라는 이름 그대로, 앞선 문맥을 보고 다음에 올 토큰의 확률을 계산하는 장치라는 설명이다. 답변은 통째로 튀어나오는 것이 아니라 토큰을 하나씩 골라 이어 붙이며 완성된다. 그래서 엄밀히 말하면 사람처럼 이해한다기보다, 지금 문맥에서 이어질 가능성이 높은 토큰의 분포를 계산한다고 보는 편이 정확하다.

가장 이해하기 쉬운 비유는 자동 완성이다. '오늘 점심으로 김치찌개를'이라는 문장을 보면 우리는 자연스럽게 먹었다, 시켰다, 만들었다 같은 말을 떠올리는데, 모델도 가능한 다음 토큰마다 확률을 계산한 뒤 하나를 고르고 다시 그다음을 예측한다. 여기서 핵심 개념이 토큰이다. 토큰은 하나의 단어일 수도 있고 단어의 조각일 수도 있어서, '안녕하세요' 같은 표현도 모델 안에서는 여러 토큰으로 쪼개질 수 있다.

학습 과정은 문제집을 풀고 오답 노트를 만드는 일에 비유된다. 모델은 문장의 앞부분을 보고 다음 토큰을 예측한 뒤 실제 정답과 비교해 얼마나 틀렸는지 계산하고, 그 차이를 줄이도록 내부 파라미터를 조금씩 수정한다. 파라미터는 모델 안에 들어 있는 수많은 숫자로, 토큰 사이의 관계와 문맥 패턴, 답변 경향을 담고 있다. 결국 학습이란 이 숫자들을 조정해 다음 토큰을 더 잘 맞히게 만드는 일이다.

학습은 두 단계로 나뉜다. 사전학습에서는 대량의 텍스트로 문법과 상식적인 연결, 다양한 표현 방식 같은 기본 언어 감각을 넓게 익힌다. 하지만 이것만으로는 사용자의 지시에 친절하고 안전하게 답하기 어려워서, 미세조정 또는 지시 튜닝 단계가 뒤따른다. 설명해 줘, 요약해 줘, 표로 정리해 줘 같은 요구에 맞춰 답하는 법을 이 단계에서 배우고, 덕분에 단순한 자동 완성 모델을 넘어 대화형 도우미처럼 보이게 된다.

추론은 이미 학습을 마친 모델이 사용자의 입력을 보고 답을 생성하는 단계다. 이때는 정답지를 보고 고치는 과정이 없으며, 지금까지의 문맥으로 다음 토큰을 고르고 그 토큰이 포함된 새 문맥에서 다시 다음 토큰을 고르는 일을 반복해 답변 하나가 만들어진다. 긴 문맥을 다룰 수 있게 해 주는 장치가 어텐션인데, 예를 들어 '그 사람'이라는 표현이 앞의 누구를 가리키는지 문맥에서 어떤 토큰을 더 중요하게 볼지 계산해 준다.

같은 질문에 답이 매번 조금씩 달라지는 이유도 여기서 설명된다. 모델은 정답 하나를 들고 있는 것이 아니라 다음 토큰의 확률 분포를 가지고 있어서, 온도가 낮으면 가장 그럴듯한 답을 안정적으로 고르고 온도가 높으면 더 다양한 답을 시도한다. 그럴듯하지만 틀린 답이 나오는 현상도 같은 이유에서 비롯된다. 모델은 진실을 조회하는 기계가 아니라 현재 문맥에서 그럴듯한 토큰을 생성하는 장치이므로, 정보가 부족하거나 질문이 애매하면 사실과 다른 답을 만들어 낼 수 있고 이를 환각이라고 부른다.

주요 인사이트

• '이해한다'와 '다음 토큰의 확률을 계산한다'를 구분하는 것만으로도, 챗봇의 답을 어디까지 믿어야 하는지에 대한 감각이 달라진다.
• 환각은 모델이 고장 난 결과가 아니라 그럴듯한 토큰을 이어 붙이는 작동 방식에서 자연스럽게 따라오는 부작용이므로, 질문을 구체적으로 던져 정보 부족을 줄이는 편이 낫다.
• 온도 설정은 창의성 스위치라기보다 확률 분포에서 얼마나 과감하게 고를지를 정하는 값이어서, 정확성이 중요한 작업에서는 낮게 두는 편이 유리하다.
• 사전학습과 미세조정을 나눠 보면, 챗봇이 말을 잘하는 능력과 지시를 잘 따르는 능력이 서로 다른 단계에서 생긴다는 점이 분명해진다.
• 토큰이 단어가 아니라 단어 조각일 수 있다는 사실은 글자 수 세기나 철자 다루기처럼 사람에게 쉬운 작업을 모델이 종종 틀리는 이유와도 이어진다.

자주 묻는 질문

관련 AI 소식