ChatGPT 작동 원리 완전정리: 토큰, 트랜스포머 어텐션, 문맥창, 환각까지

핵심 메시지

• ChatGPT는 내부에 '작은 뇌'가 있어 답을 찾는 게 아니라, 입력을 토큰(숫자)으로 바꿔 거대한 신경망에 통과시키고 다음 조각을 한 번에 하나씩 생성한다.
• 트랜스포머의 핵심은 '어텐션' — 다음 토큰을 만들 때 입력의 어느 부분이 중요한지 판단해 문맥을 다룬다.
• 모델이 한 번에 볼 수 있는 정보는 '문맥창'으로 제한되며, 긴 대화가 흐트러지는 이유는 오래된 내용이 요약·삭제돼 모델 시야에서 사라지기 때문이다.
• 환각은 거짓말이 아니라, 사실 검증 없이 '그럴듯한 패턴'을 이어붙인 결과다.
• '모델'과 그 주위의 '제품'을 구분해야 한다 — 웹 검색·파일 업로드·코드 실행 같은 도구는 모델 가중치가 아니라 주변 소프트웨어가 더해주는 능력이다.

쉽게 이해하기

영상은 ChatGPT가 마치 나를 이해하는 것처럼 느껴지지만, 실제 메커니즘은 그보다 낯설다는 데서 출발한다. 메시지를 보내면 ChatGPT는 먼저 문장을 '토큰'으로 나눈다. 토큰은 한 단어일 수도, 단어의 일부·문장부호·공백일 수도 있으며, 각 토큰은 모델이 처리할 수 있는 숫자로 바뀐다. 모델은 사람처럼 문장을 읽는 게 아니라 토큰의 나열을 보고 다음에 올 것을 계산한다.

ChatGPT의 바탕은 대규모 언어모델(LLM)로, '다음 토큰 예측'을 학습한 시스템이다. 방대한 책·기사·웹·코드로 훈련하며 예측이 실제 다음 토큰과 얼마나 어긋났는지에 따라 내부 수치를 조금씩 조정한다. 이 수치들이 언어·사실·관계·추론 패턴을 압축한 지도가 된다.

현대 언어모델의 구조는 '트랜스포머'이며 핵심 아이디어는 어텐션이다. 어텐션은 다음 토큰 생성에 입력의 어느 부분이 중요한지 결정한다. 예컨대 '공이 튄 뒤 개가 왜 그것을 쫓았나'에서 '그것'이 공을 가리킨다는 관계를 파악하게 해준다. 다만 모델은 현재 '문맥창' 안의 텍스트만 다룰 수 있고, 이 창은 플랜·모델에 따라 약 1만 6천~3만 2천~12만 8천 토큰, 혹은 훨씬 클 수 있다(3만 2천 토큰은 대략 2만~2만 5천 단어).

문맥창에는 사용자가 입력한 글뿐 아니라 시스템 지시문·도구 설명·대화 기록·파일 내용·메모리 등 숨은 정보도 함께 들어간다. 그래서 대화가 길어지면 오래된 세부가 압축·요약되거나 밀려나 모델이 보지 못하게 되고, 이는 실수의 가장 단순한 원인이 된다. '모델이 실제로 무엇을 보았는가'를 물으면 오답의 이유가 드러난다.

응답은 한 번에 쓰이지 않고, 지금까지의 토큰을 바탕으로 확률이 가장 높은 다음 토큰을 하나씩 골라 흘러나온다. 'What's the capital of France?'에서는 'Paris' 토큰의 확률이 매우 높다. 이 확률적 특성 탓에 사실이 없거나 낡았을 때도 그럴듯한 답을 만들어내는 환각이 생긴다. 또한 원시 언어모델은 기본 훈련 뒤 '지시 따르기' 훈련과 '선호·안전' 훈련을 거쳐야 비로소 어시스턴트처럼 행동한다.

주요 인사이트

• ChatGPT를 하나의 단일체가 아니라 '훈련된 모델 + 행동을 형성하는 지시문 + 볼 수 있는 범위를 정하는 문맥창 + 외부 정보를 가져오는 도구 + 안전 계층 + 대화형 인터페이스'로 이뤄진 시스템으로 보면 이해가 쉬워진다.
• 도구가 답을 바꾸는 이유는 명확하다 — 모델은 여전히 텍스트를 생성할 뿐이고, PDF에서 텍스트를 뽑거나 웹에서 최신 페이지를 가져오거나 코드를 실행하는 일은 주변 소프트웨어(제품)가 모델의 문맥에 재료를 넣어주는 것이다.
• 좋은 답은 모델이 올바른 문맥을 갖고 패턴이 유용한 결과로 이어졌을 때 나오고, 나쁜 답은 대개 '올바른 정보를 보았는가, 과제를 이해했는가, 적절한 도구가 있었는가'로 설명된다. 그래서 유용하면서도 항상 검증이 필요하다.
• 기본 모델은 언어 능력을, 지시 훈련은 유용함을, 선호·안전 훈련은 행동 방식을 부여한다 — 세 단계가 잘 맞물릴 때 비로소 '대화'처럼 느껴지지만 그 바탕은 여전히 예측이다.

자주 묻는 질문

관련 AI 소식