LLM 뜻과 작동 원리 완전정복: 언어·모델·GPT·트랜스포머까지 한 번에 이해하기

핵심 메시지

• LLM(대규모 언어모델)은 사람도 마법도 아니며, 방대한 데이터로 다음 단어를 예측하는 '강화된 자동완성'이다.
• 언어는 단어(어휘)·규칙(문법)·의미로 이루어지고, 모델은 데이터의 패턴을 담은 '수학적 근사'다.
• 'Large'는 파라미터 수(보통 70억 이상)·인터넷 규모의 데이터셋·대량의 GPU 컴퓨트 세 가지에서 나온다.
• GPT는 Generative(생성형)·Pre-trained(사전학습)·Transformer(트랜스포머)의 약자다.
• 트랜스포머는 2017년 'Attention Is All You Need' 논문에서 나왔으며, 문장을 한 번에 병렬 처리하고 어텐션으로 문맥을 파악한다.

쉽게 이해하기

강연자는 최근 2년간 가장 많이 쓰인 단어로 LLM을 꼽으며, 사람들이 이를 '사람처럼 생각하는 존재'나 '요술램프 같은 마법'으로 오해한다고 지적한다. 그는 LLM이 일자리를 빼앗는 신비한 존재가 아니라, 한마디로 '강화된 자동완성(autocomplete on steroids)'이라고 정의한다. 다차원의 세상 데이터를 학습해 다음에 올 단어를 예측하는 것이 전부라는 것이다.

그는 'LLM'을 언어(Language)·모델(Model)로 나눠 설명한다. 언어는 어휘(단어의 집합), 문법(규칙의 집합), 그리고 맥락에서 만들어지는 의미로 구성된다. 이는 한국어·영어 같은 자연어뿐 아니라 파이썬·자바스크립트 같은 프로그래밍 언어에도 똑같이 적용된다고 말한다.

모델은 '수학적 근사'라고 설명한다. 매일 출근하며 쌓인 데이터로 '오늘은 18~20분 걸리겠다'고 예측하듯, 시간을 거리·교통·날씨 같은 요인(파라미터)의 함수로 근사하는 것이 모델이라는 것이다. 언어모델은 이 원리로 다음 단어의 확률을 계산하는 '시퀀스 예측 엔진'이다. 예컨대 '비라트 콜리는 위대한 ___'에서는 확률이 가장 높은 '크리켓 선수'를 고른다.

'Large'는 세 가지에서 비롯된다. 첫째 파라미터로, 보통 70억 개가 넘으면 LLM, 그보다 적으면(예: 라마 7B) 소형 언어모델(SLM)로 부른다. 둘째 데이터셋으로, 위키백과·레딧·책·오픈 크롤·소스코드 등 인터넷 전체의 데이터다. 셋째 컴퓨트로, 엔비디아 H100 같은 GPU를 수천~수백만 대 동원해 이 방대한 학습을 처리한다.

마지막으로 GPT를 분해한다. 사전학습(Pre-trained)은 신입 개발자가 코딩 기초를 이미 아는 상태처럼 방대한 데이터로 미리 훈련된 것을, 생성형(Generative)은 참/거짓을 분류하는 판별 모델과 달리 다음 토큰을 새로 만들어내는 것을 뜻한다. 트랜스포머는 예전 RNN·LSTM이 단어를 하나씩 읽던 방식을 넘어 문장 전체를 한 번에 병렬 처리하며, 어텐션 메커니즘으로 'it'이나 'bat'이 무엇을 가리키는지 문맥을 잡아낸다.

주요 인사이트

• LLM의 본질은 '다음 단어 예측'이다. 그럴듯한 답이 마치 사고의 결과처럼 보여도, 이전 단어를 바탕으로 다음 단어를 이어 붙인 확률적 산물이라는 점을 이해하면 과도한 공포나 환상에서 벗어날 수 있다.
• '모델 = 수학적 근사'라는 정의는 실무에서 남용되는 '모델'이라는 말을 명확히 해준다. 데이터로 만든 패턴을 방정식으로 근사해 다음 점을 예측하는 것이 모델이다.
• 규모(Large)는 파라미터·데이터·컴퓨트의 삼각형에서 나온다. 엔비디아 GPU 수요가 치솟는 이유도 이 '컴퓨트' 축에 있다.
• 트랜스포머의 핵심 혁신은 병렬 처리와 어텐션이다. 문장을 한 번에 읽어 속도를 끌어올리고, 어텐션으로 단어 간 관계를 매핑해 문맥을 복원한다.

자주 묻는 질문

관련 AI 소식