거대언어모델 작동 원리 총정리: 토큰 예측, 트랜스포머, 어텐션, 그리고 학습 3단계

핵심 메시지

• 거대언어모델은 어휘 사전의 모든 토큰에 점수를 매기고 그중 하나를 골라 이어 붙이는 일을 반복할 뿐이며, 챗봇의 답변 전체가 이 단순한 반복에서 나온다.
• 같은 질문에 매번 다른 답이 나오는 이유는 모델이 변덕스러워서가 아니라, 확률 분포에서 표본을 뽑는 단계에 온도(temperature)와 상위 확률 절단(top-p) 같은 조절 장치가 들어 있기 때문이다.
• 트랜스포머의 핵심은 토큰을 한 줄로 세워 차례대로 처리하던 방식을 버리고 전체를 동시에 다루도록 바꾼 것이며, 이 구조 변화가 대규모 학습을 가능하게 했다.
• 어텐션은 각 토큰이 '나를 이해하는 데 어떤 토큰이 중요한가'를 묻는 장치지만, 토큰 수의 제곱에 비례해 계산량이 늘어나는 비용 구조를 함께 안고 있다.
• 사전학습만 마친 모델은 지시를 따르는 비서가 아니라 문장을 이어 쓰는 자동완성기이며, 지도 미세조정과 인간 피드백 강화학습을 거쳐야 비로소 지금의 형태가 된다.

쉽게 이해하기

우리가 챗봇에서 보는 답변은 문장 단위로 완성돼 나오는 것처럼 보이지만, 실제로는 단어 조각 하나를 고르는 일이 수없이 반복된 결과다. 모델은 '프랑스의 수도는'이라는 입력을 받으면 다음에 올 수 있는 모든 후보에 점수를 매기고, 그중 하나를 골라 뒤에 붙인 뒤 다시 같은 계산을 시작한다. 이 고리가 거대언어모델의 작동 원리 전부다.

점수는 로짓이라 불리는 원값으로 나오고, 소프트맥스를 거치며 확률 분포로 바뀐다. 어떤 토큰은 90%, 어떤 토큰은 2%를 받는 식이다. 모델 자체는 결정론적으로 같은 점수를 내놓지만, 그 분포에서 표본을 뽑는 단계가 무작위성을 끼워 넣는다. 온도를 높이면 분포가 평평해져 창의적인 답이, 낮추면 뾰족해져 예측 가능한 답이 나온다.

예측 능력은 학습에서 온다. 수천억 개 규모의 토큰을 문장에서 마지막 토큰을 가린 뒤 맞혀 보게 하고, 정답과 얼마나 어긋났는지를 교차 엔트로피 손실로 재고, 역전파로 각 파라미터를 조금씩 밀어 준다. 예측하고, 비교하고, 가중치를 미세하게 조정하는 이 과정이 수조 번 반복된다. 문법도 사실도 추론도 따로 프로그래밍되지 않았지만, 넓은 예측을 잘하려면 넓은 이해가 필요하기 때문에 부수적으로 딸려 온다.

구조 쪽에서는 트랜스포머가 전환점이었다. 그 이전의 순환 신경망은 100번째 토큰을 처리하려면 99번째가 끝나기를 기다려야 했고, 병렬 하드웨어를 놀리는 병목이 됐다. 트랜스포머는 모든 토큰을 한꺼번에 처리하되 순서 정보를 위치 인코딩으로 얹었고, 어텐션이 토큰 사이의 관련도를 동시에 계산한다. 여러 개의 어텐션 헤드가 문법, 의미, 지시 관계를 나눠 학습하고, 그 사이에 낀 피드포워드 층들이 학습한 패턴을 저장한다.

다만 사전학습이 끝난 모델에게 '요약해 줘'라고 하면 요약 대신 문장을 이어 써 버리기도 한다. 그래서 사람이 쓴 모범 답변을 흉내 내게 하는 지도 미세조정과, 두 답변 중 어느 쪽이 나은지 평가자가 고르게 해 그 선호를 파라미터에 반영하는 인간 피드백 강화학습이 뒤따른다. 영상은 마지막에 열린 질문을 남긴다. 예측을 더 키우면 인간 수준의 인지에 닿는다는 쪽과, 예측만으로는 진짜 이해에 이를 수 없다는 쪽 중 누가 맞는지는 아직 아무도 모른다는 것이다.

주요 인사이트

• '모델이 창의적이다'라는 표현은 정확하지 않다. 창의성처럼 보이는 것은 확률 분포에서 표본을 뽑는 방식에서 나오며, 온도와 top-p라는 사용자가 만질 수 있는 값으로 조절된다.
• 학습 데이터는 양만으로 충분하지 않다. 영상은 데이터의 품질과 중복 제거가 규모만큼이나 중요하다고 짚는다.
• 긴 문맥을 다루는 비용은 선형이 아니라 제곱으로 늘어난다. 토큰이 1,000개면 관련도 점수는 100만 개가 되고, 이 때문에 희소 어텐션과 선형 어텐션 같은 변형 연구가 이어지고 있다.
• 파라미터는 사람이 값을 정해 주는 것이 아니라 무작위에서 출발한다. 처음에는 의미 없는 출력을 내다가 학습을 거치며 패턴이 떠오르는 구조이므로, 지식은 설계된 것이 아니라 손실 함수가 남긴 부산물에 가깝다.
• 능력이 커져도 기본 조리법은 그대로다. 대규모로 다음 토큰을 예측하게 한 뒤 피드백으로 방향을 잡아 주는 두 단계가 지금까지의 모델을 관통한다.

자주 묻는 질문

관련 AI 소식