LLM 작동 원리 쉽게 이해하기: 학습 데이터·트랜스포머·파인튜닝·RLHF

핵심 메시지

• LLM은 방대한 텍스트로 학습된 AI로, 실제로 "말을 이해"하기보다 어떤 단어들이 어떤 순서로 자주 함께 등장하는지의 확률을 학습해 답을 만든다.
• 모델은 가능한 답변 후보마다 정확도 점수를 매기고, 사용자 피드백(도움이 됐는지 여부)을 다시 학습에 반영하는 피드백 루프로 개선된다.
• 개발은 방대한 데이터로 기초를 다지는 사전학습(pre-training), 좁은 데이터로 특화하는 파인튜닝, 인간 피드백을 통한 강화학습(RLHF) 순으로 진행된다.
• 트랜스포머 구조가 라벨 없는 데이터에서 단어 관계를 병렬로 학습하게 해주며, 이것이 현대 LLM의 핵심 토대다.
• 1980년대 규칙 기반 AI에서 2000년대 통계·신경망을 거쳐 GPT 계열로 폭발적으로 발전했고, OpenAI·구글·메타·앤트로픽 등이 주요 플레이어다.

쉽게 이해하기

거대 언어 모델(LLM)은 뉴스에서 매일 접하는, 현대 인공지능의 토대가 되는 기술이다. 영상은 LLM이 방대한 텍스트 데이터로 학습된 AI 시스템이라고 정의하면서, 다만 그것이 인간처럼 언어를 이해하는 것은 아니라고 강조한다. 실제로 모델이 하는 일은 특정 단어·기호·숫자가 어떤 순서로 자주 함께 나타나는지를 보고, 그 순서대로 배열해 질문에 대한 답을 만드는 것이다.

작동 방식은 훈련용·시험용 데이터셋을 활용한 확률 게임에 가깝다. "파인애플은 피자에 올리지 않는다" 같은 예시처럼, 모델은 가능한 답변 후보들을 떠올린 뒤 각 후보가 정확할 확률을 점수로 매긴다. 가장 그럴듯한 답에 높은 점수를, 말이 안 되는 답에 낮은 점수를 준다. 또한 ChatGPT에서 답변에 뜨는 "도움이 됐나요?" 같은 피드백이 다시 학습에 반영되는데, 이것이 바로 사람이 개입하는 피드백 루프(human-in-the-loop)다.

LLM은 텍스트 생성, 번역, 요약, 코드 생성, 챗봇 등 다양한 작업을 학습할 수 있다. 번역이나 코드처럼 맞고 틀림이 비교적 분명한 작업은 정확도를 평가하기 쉽다. 과거의 규칙 기반(rule-based) 챗봇이 "고객이 이렇게 물으면 이렇게 답하라"고 일일이 프로그래밍해야 했던 것과 달리, LLM은 데이터에서 스스로 응답을 추론한다. 대신 특정 용도로 잘 작동하게 만들려면 신경망 방식으로 오랜 기간 학습시켜야 한다.

모델 개발은 단계적으로 이뤄진다. 먼저 사전학습(pre-training)에서 라벨 없는 방대한 데이터를 넣어 기초 지식을 심는데, ChatGPT의 경우 사실상 인터넷 전체에 해당하는 양이다. 핵심 구조는 트랜스포머로, 데이터를 인코딩(의미 추출)하고 디코딩(의미 생성)하며 라벨 없는 데이터에서도 단어·구의 관계를 여러 번 병렬로 학습한다. 이어 다음 단어를 예측하는 자기지도 학습을 거치며 수십억~수조 개의 매개변수(가중치)를 조정하고, 이 과정은 GPU·TPU 같은 고성능 하드웨어에서 수행된다. 기초 모델이 만들어진 뒤에는 좁은 데이터로 파인튜닝하고, 인간이 응답 정확도를 평가하는 강화학습으로 편향을 줄이며, 마지막으로 입력 프롬프트에 가장 확률 높은 단어 배열을 생성하는 추론(inference) 단계가 온다.

역사적으로는 1980년대 수작업 규칙·기호 처리 AI에서 출발해, 2000년대 초 통계 기반 NLP(은닉 마르코프·n그램 모델)와 이후 RNN·LSTM, 단어 관계를 벡터로 표현한 word2vec·GloVe(구글)로 발전했다. 2019년 GPT-2가 트랜스포머로 큰 도약을 이뤘고, GPT-3와 ChatGPT를 거치며 폭발적으로 성장했다. 영상은 미래 전망으로 더 효율적이고 산업별로 특화된 모델, 설명 가능한 AI, 텍스트를 넘어선 멀티모달(이미지·음성·영상), 오픈소스 확산(메타 Llama, Mistral, Falcon), 그리고 규제 강화를 꼽는다. 주요 플레이어로는 OpenAI(GPT·ChatGPT), 구글 딥마인드(Gemini·PaLM), 메타(Llama), 앤트로픽(Claude), 미스트랄, 그리고 오픈소스 모델 허브 허깅페이스를 소개한다.

주요 인사이트

• 영상은 LLM이 의미를 "이해"하는 게 아니라, 단어·기호가 자주 나타나는 순서를 보고 다음에 올 가능성이 가장 높은 단어를 예측하는 방식임을 거듭 강조한다.
• ChatGPT에서 답변에 뜨는 "도움이 됐나요?" 피드백 버튼이 바로 모델이 정확도를 학습하는 human-in-the-loop 루프의 일부다.
• 모든 작업에 두루 쓰는 기초 모델(foundational LLM)과, 특정 도메인 데이터로 특화한 augmented 모델을 구분하는 것이 실무 활용의 핵심이다 — 다만 너무 좁히면 오히려 효과가 떨어진다.
• GPU·TPU 같은 고성능 하드웨어 수요가 LLM 학습에 집중되면서 GPU 가격이 비싸진 배경도 함께 설명한다.
• 오픈소스 진영(메타 Llama, Mistral, Falcon, 허깅페이스)이 독점 모델에 맞서 AI 접근성을 넓히고 있다는 점을 주요 미래 트렌드로 꼽는다.

자주 묻는 질문

관련 AI 소식