LLM 작동 원리 쉽게 이해하기 — 토큰화·임베딩·트랜스포머 어텐션·경사하강법

핵심 메시지

• 거대 언어 모델(LLM)은 앞선 맥락을 바탕으로 다음 단어, 더 정확히는 다음 토큰을 예측하는 AI다.
• 원리는 단순해 보이지만 진짜 복잡함은 그 예측을 만들어내는 과정에 있다.
• 사용자의 문장은 토큰화를 거쳐 숫자가 되고, 다시 의미를 담은 벡터인 임베딩으로 바뀐 뒤 신경망에 들어간다.
• LLM의 핵심은 2017년 '어텐션이 전부다' 논문이 제시한 트랜스포머와 어텐션 메커니즘으로, 단어들이 서로 어떻게 관련되는지를 한꺼번에 본다.
• 모델은 다음 토큰에 확률을 매겨 표본을 뽑기 때문에 같은 질문에도 답이 매번 똑같지 않다.

쉽게 이해하기

거대 언어 모델(LLM)을 가장 단순하게 정의하면, 앞에 나온 내용을 바탕으로 문장의 다음 단어 — 더 정확히는 다음 토큰 — 를 예측하는 AI다. 너무 간단하게 들리지만, 진짜 복잡함은 그 예측을 어떻게 만들어내느냐에 있다. 영상은 인터넷의 모든 책·웹사이트·위키백과·게시판을 다 읽어들인 친구에게 문자를 보내는 비유로 LLM을 설명한다.

조금 더 격식 있는 정의로는, LLM은 딥러닝과 트랜스포머 구조에 기반해 방대한 데이터로 학습한 AI 시스템으로 텍스트와 코드를 이해·요약·생성·예측한다. 구글 제미나이, 클로드, 그리고 챗GPT를 떠받치는 기술이다. 여기서 '거대(large)'라는 말은 학습 데이터의 어마어마한 규모를 가리킨다. 가장 큰 모델은 수천억에서 1조 단어가 넘는 데이터로 학습하는데, 쉬지 않고 읽어도 약 7,600년이 걸릴 분량이다.

데이터만 거대한 것이 아니라 모델 자체도 거대하다. 내부에는 수십억에서 수조 개의 '파라미터'가 들어 있는데, 이는 모델이 언어를 어떻게 예측할지 조절하는 조정 가능한 숫자들이다. 그만큼 전기 요금도 거대하다. 학습 데이터의 가장 큰 몫은 블로그·뉴스·레딧 같은 공개 웹에서 오며, 디지털화된 책과 위키백과, 대화 데이터, 깃허브·스택오버플로 같은 코드 저장소도 포함된다.

그렇다면 모델은 이 데이터로 어떻게 사람처럼 들리도록 학습할까. 시작은 토큰화다. 사용자가 챗GPT에 입력하는 문장(프롬프트)은 모델이 이해하는 형식으로 바뀌어야 한다. 토큰화는 텍스트를 토큰이라는 작은 조각 — 온전한 단어, 단어의 일부, 또는 문장 부호 — 으로 쪼개는 과정이며, 각 토큰은 다시 숫자로 번역된다. 모델이 궁극적으로 이해하는 것은 숫자뿐이기 때문이다.

그다음 각 토큰은 임베딩으로 바뀐다. 임베딩은 토큰의 의미를 나타내는 숫자들의 목록, 곧 벡터다. 의미의 거대한 지도 위 좌표라고 생각하면 된다. 비슷한 의미의 단어는 가까이, 무관한 단어는 멀리 놓인다. 이렇게 맥락과 관계, 의미를 담은 벡터가 신경망에 입력된다. 신경망은 뇌의 뉴런에서 영감을 받은 디지털 뉴런들의 그물로, 각 뉴런은 입력에 가중치를 곱하고 편향을 더해 다음 층으로 결과를 넘긴다.

LLM이 쓰는 신경망은 특별히 트랜스포머라는 종류다. 문장의 의미는 종종 멀리 떨어진 단어에 좌우된다. 같은 일곱 단어 문장도 어느 단어를 강조하느냐에 따라 뜻이 완전히 달라진다. 과거 모델은 정보를 선형으로 처리해 이런 미묘함을 잡지 못했지만, 트랜스포머는 다르다. 핵심은 2017년 '어텐션이 전부다(Attention is all you need)' 논문이 제시한 어텐션 메커니즘으로, 특정 단어를 해석할 때 어떤 단어가 가장 중요한지를 정하고 문장 전체 맥락을 한꺼번에 본다.

트랜스포머는 입력을 읽어 의미를 깊이 이해하는 인코더와, 그 이해를 바탕으로 한 번에 한 토큰씩 새 텍스트를 만들어내는 디코더로 나뉠 수 있다. '멀티헤드 어텐션'이란 모델이 여러 방식으로 동시에 주의를 기울인다는 뜻이다. 또 모델은 다음 단어를 고르는 것이 아니라 가능한 모든 다음 토큰에 확률을 매긴 뒤 표본을 뽑는다. 그래서 챗GPT가 같은 답을 매번 똑같이 내놓지 않는다. 학습은 경사하강법으로 이뤄지는데, 예측을 하고 얼마나 틀렸는지 확인한 뒤 수십억 개의 파라미터를 조금씩 조정하는 과정을 수백만, 수십억 번 반복한다. 즉 챗GPT를 쓸 때 모델은 실시간으로 배우는 것이 아니라 학습 때 익힌 것을 적용할 뿐이다.

주요 인사이트

• '다음 토큰 예측'이라는 단순한 목표 뒤에는 토큰화 → 임베딩 → 신경망 → 트랜스포머라는 정교한 파이프라인이 숨어 있다.
• 임베딩은 의미를 좌표로 바꾸는 장치다. 비슷한 단어가 가까이 모이는 '의미의 지도' 덕분에 모델은 단어가 아닌 관계와 맥락을 다룬다.
• 트랜스포머의 어텐션은 멀리 떨어진 단어들의 관계까지 한 번에 보며, 강조에 따라 뜻이 달라지는 언어의 미묘함을 모델이 포착하게 한 결정적 전환점이다.
• 모델이 확률 표본 추출로 답을 만들기 때문에 출력이 매번 달라지며, 사용 시점에는 학습이 일어나지 않고 이미 익힌 패턴을 적용할 뿐이다.

자주 묻는 질문

관련 AI 소식