거대언어모델(LLM) 작동 원리: 트랜스포머·어텐션 쉽게 이해하기

핵심 메시지

• 거대언어모델(LLM)은 방대한 데이터로 딥러닝을 통해 언어를 이해·생성·변환하도록 학습된 AI 시스템으로, GPT-3(1,750억 파라미터), 메가트론-튜링 NLG(5,300억 파라미터)가 대표적이다.
• 초기의 순환신경망(RNN)은 한 번에 한 단어씩 처리해 앞부분을 잊는 한계가 있었으나, 2017년 트랜스포머의 어텐션 메커니즘이 문장 전체를 동시에 고려하며 이를 극복했다.
• 트랜스포머는 텍스트를 토큰화→인코딩→임베딩→문맥 벡터로 바꾼 뒤, 디코더가 문맥을 바탕으로 다음 토큰을 자기회귀적으로 생성한다.
• LLM은 라벨 없는 대규모 데이터로 비지도 학습되며, 제로샷·원샷·퓨샷 학습과 프롬프트 튜닝·파인튜닝·어댑터로 특정 작업에 맞춰진다.
• 모델은 인코더 전용(BERT), 디코더 전용(GPT-3), 인코더-디코더(T5)로 나뉘며, 편향·비용·환각(hallucination)·설명가능성 같은 과제도 안고 있다.

쉽게 이해하기

거대언어모델은 이야기 작성, 법률 문서 초안, 번역, 사람 같은 대화까지 해내는 AI 시스템이다. 2020년 공개된 GPT-3는 1,750억 개의 파라미터로 짧은 프롬프트만으로 에세이와 코드를 만들고, 엔비디아와 마이크로소프트가 협력한 메가트론-튜링 NLG 530B는 5,300억 파라미터로 독해와 자연어 추론 같은 복잡한 과제에서 강점을 보인다. 1966년의 엘리자에서 오늘날의 정교한 LLM까지의 여정은 AI 능력의 도약을 상징한다.

컴퓨터에게 텍스트는 문자의 연속일 뿐이다. 초기에는 순환신경망(RNN)이 기계가 텍스트를 이해하도록 도왔지만, 한 번에 한 단어씩 처리하다 보니 앞부분을 잊는 문제가 있었다. 2017년 등장한 트랜스포머는 어텐션 메커니즘으로 문장이나 문단 전체를 동시에 바라볼 수 있게 해 문맥 이해를 크게 끌어올렸다.

트랜스포머의 처리 과정은 이렇다. 문장을 토큰이라는 작은 조각으로 나누고(토큰화), 각 토큰을 숫자로 바꾼 뒤(인코딩), 의미를 담은 다차원 벡터로 변환한다(임베딩). 예컨대 'she'와 'her'는 비슷한 맥락에 등장해 유사한 벡터를 갖는다. 인코더는 이 벡터들을 종합해 문장 전체의 의미를 담은 문맥 벡터를 만들고, 디코더는 이를 근거로 다음 단어를 예측하며 문장을 이어 간다.

아키텍처는 인코더와 디코더가 각각 여러 층으로 쌓인 구조다. 입력 임베딩과 위치 인코딩으로 순서 정보를 더하고, 멀티헤드 어텐션이 입력의 여러 부분에 동시에 주목하며, 잔차 연결·정규화와 피드포워드 층을 거친다. 디코더는 미래 토큰을 가리는 마스크드 어텐션으로 앞을 미리 보지 못하게 하고, 마지막 선형·소프트맥스 층에서 다음 토큰의 확률을 예측한다.

LLM은 라벨 없는 대규모 데이터에서 패턴을 찾는 비지도 학습으로 훈련된다. 별도 학습 없이 새로운 과제를 해내는 제로샷, 예시 하나로 배우는 원샷, 몇 개로 일반화하는 퓨샷 능력을 가지며, 프롬프트 튜닝·파인튜닝·어댑터로 특정 작업에 맞출 수 있다. 모델은 이해에 강한 인코더 전용(BERT), 생성에 강한 디코더 전용(GPT-3), 둘을 결합한 인코더-디코더(T5)로 나뉜다. 다만 개발·운영 비용, 학습 데이터의 편향, 데이터 프라이버시 같은 윤리 문제, 결과를 설명하기 어려운 점, 부정확한 답을 지어내는 환각 등은 여전한 과제다.

주요 인사이트

• RNN의 '한 단어씩 처리' 한계를 트랜스포머의 어텐션이 '전체 동시 고려'로 바꾼 것이 현대 자연어 처리의 전환점이다.
• 토큰화→임베딩→문맥 벡터→자기회귀 생성이라는 흐름을 이해하면 LLM이 텍스트를 다루는 방식을 직관적으로 파악할 수 있다.
• 제로샷·원샷·퓨샷 능력은 LLM이 명시적으로 학습하지 않은 과제까지 수행하게 하는 핵심 특성이다.
• 인코더 전용(BERT)·디코더 전용(GPT-3)·인코더-디코더(T5)라는 구분은 분류·생성·번역 등 용도에 따라 모델을 고르는 기준이 된다.
• 성능과 유연성이라는 강점 뒤에는 높은 비용, 데이터 편향, 환각, 설명가능성 부족이라는 현실적 제약이 함께 존재한다.

자주 묻는 질문

관련 AI 소식