LLM 작동 원리 쉽게 이해하기: 토큰 예측·환각과 ChatGPT 같은 AI의 기본

핵심 메시지

• LLM은 사람처럼 '생각'하지 않는다. 방대한 텍스트로 학습해 패턴을 익힌 뒤 다음에 올 토큰을 예측하는 시스템이다.
• 프롬프트는 토큰이라는 작은 조각으로 나뉘고, 모델은 의미·맥락·패턴을 보고 토큰을 하나씩 생성해 답을 완성한다.
• 답을 통째로 외워 내놓는 게 아니라 매번 새로 생성하기 때문에 다양한 질문에 똑똑하게 반응하는 것처럼 보인다.
• 가장 그럴듯한 답을 만들 뿐 사실을 매번 확인하지 않아, 자신 있게 틀린 답을 내놓는 '환각'이 발생한다.
• ChatGPT·제미나이·클로드·퍼플렉시티·코파일럿은 겉모습이 달라도 모두 같은 원리, 즉 학습된 패턴에 따른 다음 토큰 예측에 기반한다.

쉽게 이해하기

이 영상은 'ChatGPT가 사람처럼 생각하지 않는데도 어떻게 코드를 짜고 버그를 설명하며 똑똑해 보이는 답을 내놓을까'라는 물음에서 출발한다. LLM은 Large(방대한 텍스트로 학습), Language(단어·문장·의미를 다룸), Model(패턴을 예측하도록 학습된 시스템)의 약자다.

동작 원리는 단순하다. 사용자가 프롬프트를 입력하면 AI는 그것을 사람처럼 읽지 않고, 먼저 문장을 토큰이라는 작은 조각으로 쪼갠다. 이 토큰들이 모델에 들어가면 의미와 맥락, 패턴을 살펴 다음 토큰을 예측하고, 그다음 토큰을, 또 그다음 토큰을 이어간다.

즉 답은 한 번에 쓰이는 게 아니라 토큰 단위로 한 걸음씩 생성된다. 정해진 답을 복사하는 것이 아니라 학습 때 익힌 패턴을 바탕으로 매번 새 응답을 만들어내기 때문에, 하나의 모델이 교사·작가·비서·개발자처럼 두루 느껴진다.

그러나 함정이 있다. LLM은 실제 사실 데이터베이스를 매번 확인하지 않고 '가장 그럴듯한' 응답을 생성하기 때문에, 자신 있게 틀린 답을 내놓을 수 있다. 이를 환각(hallucination)이라 하며, 답이 매끄러워 보여도 사실과 다를 수 있어 의료·법률·금융처럼 중요한 판단에는 맹신하면 안 된다.

우리는 이미 일상에서 LLM을 쓰고 있다. ChatGPT, 제미나이, 클로드, 퍼플렉시티 AI, 마이크로소프트 코파일럿이 대표적이다. 인터페이스와 회사는 달라도 핵심은 같다 — 학습된 패턴에 따라 다음 토큰을 예측하는 것이다.

주요 인사이트

• '생각하는 것처럼 보인다'와 '실제로 생각한다'는 다르다. LLM의 지능처럼 보이는 능력은 다음 토큰 예측이라는 단순한 메커니즘에서 나온다.
• 답이 토큰 단위로 순차 생성된다는 점을 이해하면, LLM이 왜 고정된 정답을 되풀이하지 않고 매번 조금씩 다른 응답을 내는지 알 수 있다.
• 환각은 단순한 오류가 아니라 작동 방식의 부산물이다. 사실 검증이 아니라 확률적으로 가장 그럴듯한 토큰을 고르기 때문에 발생한다.
• 매끄러운 문장이 곧 정확한 정보는 아니다. 중요한 결정일수록 LLM의 답을 별도로 검증하는 습관이 필요하다.
• 서로 다른 AI 앱도 근본 원리는 동일하므로, 토큰 예측이라는 개념 하나를 이해하면 다양한 도구를 같은 틀로 바라볼 수 있다.

자주 묻는 질문

관련 AI 소식