LLM 작동 원리 완전 정리: 다음 단어 예측부터 신경망·트랜스포머·파인튜닝까지 한눈에

핵심 메시지

• LLM의 본질은 '주어진 단어들 다음에 올 단어를 확률적으로 예측'하는 통계 예측 기계다.
• 인터넷 규모의 방대한 텍스트로 학습하면 단어를 넘어 개념·관계·추론 패턴까지 익히게 된다.
• GPT-2 15억, GPT-3 1750억 개처럼 파라미터(가중치)를 조정하는 과정이 곧 '학습'이다.
• 규칙 기반 → 통계적 방법(n-그램·나이브 베이즈) → 2017년 트랜스포머로 이어진 진화가 오늘의 LLM을 만들었다.
• 사전학습된 모델을 특정 목적 데이터로 다시 다듬는 파인튜닝은 한 번에 완성되지 않고 반복이 필요하다.

쉽게 이해하기

영상은 ChatGPT처럼 우리가 매일 쓰는 서비스 뒤에서 실제로 무슨 일이 벌어지는지부터 짚는다. 많은 사람이 LLM을 '똑똑한 검색엔진'으로 오해하지만, 핵심은 검색이 아니라 예측이다. 앞선 단어 시퀀스가 주어졌을 때 다음에 올 단어를 확률적으로 고르는 작업을 끝없이 반복하는 통계 예측 기계라는 설명이다.

너무 단순해 보이는 이 원리가 인터넷 규모의 데이터와 만나면 질적으로 다른 결과를 낳는다. 수십억 권 분량의 책·문서·코드·논문으로 훈련하면 모델은 단순히 단어를 외우는 게 아니라 개념과 개념 사이의 관계, 나아가 추론의 패턴까지 내부에 담게 된다. 파라미터 규모가 GPT-2의 15억에서 GPT-3의 1750억으로, 다시 수천억 단위로 커진 흐름이 이를 뒷받침한다.

이 지점을 이해하기 위해 영상은 신경망의 기본을 짚는다. 입력층으로 데이터가 들어와 은닉층을 거쳐 출력이 나오고, 뉴런 사이 연결마다 '가중치'가 붙는다. 예측과 정답의 오차를 뒤로 전파해 가중치를 조금씩 고치는 역전파(backpropagation)를 방대한 데이터에 수없이 반복하는 것이 곧 학습이다.

자연어 처리의 역사도 함께 정리된다. 초창기의 규칙 기반 시스템에서 n-그램·나이브 베이즈 같은 통계적 방법으로, 2013년 word2vec의 단어 벡터 표현을 거쳐, 2017년 구글의 논문 'Attention Is All You Need'가 트랜스포머 구조를 제시하며 판을 바꿨다. 오늘날 주요 LLM은 모두 이 구조를 토대로 한다.

마지막으로 영상은 위키 데이터로 작은 모델을 직접 훈련·파인튜닝하는 실습을 보여준다. '프랑스의 수도'처럼 간단한 질문에도 처음엔 엉뚱한 답(수도 대신 인구)을 내놓지만, 프롬프트와 학습을 더할수록 답이 개선된다. 파인튜닝이 한 번에 끝나는 마법이 아니라 반복적 조정 과정임을 실감하게 하는 대목이다.

주요 인사이트

• LLM을 '검색엔진'이 아니라 '다음 단어 예측기'로 이해하면, 왜 사실을 지어내는(환각) 현상이 생기는지도 자연스럽게 설명된다.
• 파라미터는 수많은 '조절 손잡이'이며, 학습이란 정답에 가까워지도록 이 손잡이들을 미세 조정하는 일이다.
• 트랜스포머(2017)와 어텐션 메커니즘은 현대 LLM의 공통 기반이며, 이전 방법들과의 결정적 분기점이다.
• 파인튜닝은 즉시 완벽해지지 않는다. 더 많은 지시와 예시로 반복 학습해야 원하는 답 형식에 수렴한다.

자주 묻는 질문

관련 AI 소식