LLaDA 확산 언어모델 해설: 자기회귀를 벗어난 생성 방식과 역방향 추론 성능 비교

핵심 메시지

• 지금의 대형 언어모델은 앞의 토큰을 보고 다음 토큰을 예측하는 자기회귀 방식이라, 순차 생성 비용이 크고 뒤에서 앞을 되짚는 문제에 약하다.
• LLaDA는 이미지 확산 모델의 노이즈 대신 마스크를 쓴다. 답변 자리를 전부 가린 뒤 여러 번의 역확산 단계를 거쳐 가림을 조금씩 벗겨 낸다.
• 학습은 두 단계다. 2조 3천억 토큰 사전학습에서는 무작위 비율로 토큰을 가려 복원시키고, 450만 건의 지도 미세조정에서는 답변 부분만 가려 지시를 따르게 만든다.
• 추론 때 어떤 토큰을 다시 가릴지는 확신이 낮은 토큰을 고르는 방식과, 생성 구간을 블록으로 나눠 왼쪽부터 처리하는 준자기회귀 방식을 함께 쓴다.
• 80억 파라미터 기본 모델은 LLaMA 2를 앞서고 LLaMA 3와 견줄 만했으며, 시의 앞 문장을 되짚는 역방향 과제에서는 GPT-4o보다 일관된 성능을 보였다.

쉽게 이해하기

오늘의 대형 언어모델은 근본적으로 자기회귀 모델이다. 주어진 토큰 뒤에 올 토큰을 예측하고, 그렇게 나온 부분 답변을 다시 입력에 붙여 다음 토큰을 예측하는 일을 반복한다. '옛날 옛적에 작은 마을에 지혜로운 늙은 올빼미가 살았습니다' 같은 문장이 한 단어씩 쌓여 만들어지는 셈이다. 이 방식은 대단히 잘 작동했지만 두 가지 부담을 남긴다. 토큰을 하나씩 순서대로 만들어야 하니 계산 비용이 크고, 왼쪽에서 오른쪽으로만 흐르는 구조라 뒤 문장을 보고 앞 문장을 되짚는 역방향 추론에 약하다.

영상이 소개하는 논문 'Large Language Diffusion Models'는 이 전제를 뒤집는다. 자연어 처리에서 언어모델이 그러하듯 컴퓨터 비전에서는 확산 모델이 이미지 생성의 주역이다. 확산 모델은 무작위 잡음 이미지에서 시작해 프롬프트를 조건으로 잡음을 조금씩 걷어 내며 그림을 완성한다. 학습할 때는 반대로 깨끗한 이미지에 잡음을 단계적으로 더한다. 논문이 제안한 LLaDA는 이 구조를 언어로 옮기되, 잡음 대신 마스크 토큰을 쓴다. 프롬프트는 그대로 두고 답변 자리를 전부 가린 상태에서 출발해, 가림을 단계적으로 벗겨 내면 최종 문장이 남는다.

학습은 사전학습과 지도 미세조정 두 단계로 이뤄진다. 사전학습에서는 학습 표본마다 0과 1 사이의 가림 비율을 무작위로 뽑고, 각 토큰을 그 확률로 독립적으로 가린다. 이렇게 일부만 가려진 문장을 마스크 예측기라는 트랜스포머에 넣고, 가려진 토큰에 대해서만 교차 엔트로피 손실을 계산해 복원을 학습시킨다. 사전학습 데이터는 2조 3천억 토큰 규모다. 두 번째 단계인 지도 미세조정은 지시를 따르는 능력을 키우는 과정으로, 프롬프트는 가리지 않고 답변 쪽 토큰만 가려 복원시킨다. 이 단계에서 450만 건의 표본을 썼고, 길이가 제각각인 표본은 종료 토큰으로 채워 고정 길이로 맞춘다. 덕분에 모델은 언제 문장을 끝내야 하는지도 함께 배운다.

추론은 역확산 과정이다. 프롬프트와 전부 가려진 답변으로 시작해, 매 단계 마스크 예측기가 가려진 토큰을 모두 예측하되 그중 일부는 다시 가려 다음 단계로 넘긴다. 반복 횟수는 사람이 정하는 값으로, 많이 돌릴수록 품질이 좋아지고 계산이 늘어나는 맞교환 관계다. 어떤 토큰을 다시 가릴지는 무작위로 정할 수도 있지만, 논문은 두 가지 더 효과적인 방법을 쓴다. 하나는 예측 확률이 가장 낮은, 즉 모델이 가장 자신 없어 하는 토큰을 다시 가리는 방식이다. 다른 하나는 준자기회귀 방식으로, 생성 구간을 블록으로 나눠 왼쪽부터 차례로 처리한다. 짧은 답이 필요한 질문에서 종료 토큰만 잔뜩 확신 있게 찍어 내는 문제를 막기 위한 장치다.

성능은 어떨까. 80억 파라미터 규모의 LLaDA 기본 모델은 비슷한 크기의 LLaMA 2를 여러 과제에서 확실히 앞섰고, LLaMA 3와는 대등하거나 일부에서 더 나았다. 다만 지시 조정 모델끼리 비교하면 LLaMA 3 쪽이 유리한데, 영상은 LLaMA 3가 사전학습 뒤 지도 미세조정과 강화학습을 모두 거친 반면 LLaDA는 지도 미세조정만 받았다는 차이를 짚는다. 학습 연산량을 늘려 가며 자기회귀 기준 모델과 비교한 확장성 실험에서는 수학 데이터셋 GSM8K에서 더 가파른 개선을 보였고, 추론 데이터셋 PIQA에서는 뒤처졌지만 연산량이 커질수록 격차를 좁혔다. 가장 눈에 띄는 것은 역방향 과제다. 시의 한 문장을 주고 다음 문장 또는 앞 문장을 만들게 하면 GPT-4o는 앞으로 나아가는 쪽이 훨씬 잘되는 반면, LLaDA는 양방향에서 고른 성능을 냈고 역방향에서는 GPT-4o와 Qwen 2.5를 앞섰다.

주요 인사이트

• 왼쪽에서 오른쪽으로만 쓰는 구조는 성능이 아니라 설계의 결과다. 역방향 과제에서 GPT-4o가 유독 약한 것은 모델이 부족해서가 아니라 자기회귀 학습이 남긴 흔적이라는 점을, 같은 과제에서 고르게 하는 확산 모델이 역으로 보여 준다.
• 확산 언어모델의 반복 횟수는 품질과 비용을 조절하는 손잡이가 된다. 자기회귀 모델에서 답변 길이가 곧 생성 단계 수인 것과 달리, 여기서는 길이와 단계 수를 따로 정할 수 있다.
• 다시 가릴 토큰을 확신이 낮은 순으로 고르는 방식은, 모델이 자기 예측의 확실성을 스스로 순위 매겨 쓰는 셈이다. 잘 아는 자리부터 확정하고 애매한 자리는 다음 기회로 미루는 전략이다.
• 순수 확산만 고집하지 않고 블록 단위로 왼쪽부터 처리하는 절충안을 넣었다는 점이 현실적이다. 답변 길이가 제각각인 실제 대화에서 종료 토큰이 남발되는 문제를 구조로 막았다.
• 지시 조정 비교에서 LLaMA 3가 앞선 것을 두고 방식의 우열로 읽으면 안 된다. 강화학습을 거친 모델과 지도 미세조정만 받은 모델을 나란히 놓은 비교라는 조건을 함께 봐야 한다.

자주 묻는 질문

관련 AI 소식