확산 LLM과 트랜스포머의 관계 정리: 인코더·디코더에서 BERT와 LLaDA까지

핵심 메시지

• 확산 LLM과 트랜스포머는 대립 개념이 아니다. 현재의 확산 언어모델은 모두 내부에서 트랜스포머를 쓴다.
• 2017년 기계번역용으로 나온 트랜스포머는 전체를 보는 인코더와 왼쪽만 보는 디코더로 이뤄지며, 둘의 실질적 차이는 어텐션 범위뿐이다.
• GPT는 디코더만, BERT는 인코더만 가져갔다. 다음 토큰 예측은 왼쪽만 보는 어텐션과, 마스크 복원은 전체를 보는 어텐션과 맞물리기 때문이다.
• 마스킹 확산 모델은 BERT의 고정 마스킹 비율 15%를 학습 샘플마다 무작위 값으로 바꾼 것에 가깝다.
• 자기회귀 학습은 한 번의 계산으로 모든 위치에서 배워 효율적이지만 샘플링 드리프트를 안고 가고, 확산 학습은 비효율적인 대신 그 문제를 피한다.

쉽게 이해하기

확산 기반 언어모델은 뜻 없는 잡음에서 출발해 응답을 반복적으로 다듬는다. 토큰을 하나씩 만들고 되돌리지 않는 기존 자기회귀 모델과는 생성 방식이 정반대다. 그래서 '트랜스포머와 뭐가 다르냐'는 질문이 자주 나오지만, 영상은 이것이 잘못된 이분법이라고 짚는다. 확산 LLM을 굴리는 것도 결국 트랜스포머이기 때문이다.

트랜스포머의 출발점은 언어모델이 아니라 기계번역이었다. 번역의 핵심 난제는 정렬, 즉 언어마다 어순이 달라 어느 원문 단어를 지금 다뤄야 하는지 판단하는 문제다. 이를 처리하는 장치가 어텐션인데, 어텐션 자체는 3년 앞서 순환 신경망의 부속으로 제안돼 있었다. 트랜스포머가 한 일은 조연이던 어텐션을 주역으로 올린 것이고, 그래서 논문 제목이 '어텐션이 전부다'가 됐다.

구조를 열어보면 인코더는 입력을 받아 모든 토큰이 서로를 참조하는 전체 자기 어텐션으로 문맥을 입히고, 디코더는 번역문을 한 단어씩 만들며 자기 왼쪽만 보는 인과 어텐션과 원문을 보는 교차 어텐션을 함께 쓴다. 마지막에는 선형층과 소프트맥스를 거쳐 다음 토큰의 확률 분포가 나온다. 그런데 인코더와 디코더는 하는 일이 거의 같고 어텐션 범위만 다르다. 이후 모델들이 둘 중 하나만 골라 쓰게 된 이유다.

GPT가 디코더를 고른 것은 사전학습 과제 때문이다. 2018년 당시 병목은 프롬프트-응답 쌍 데이터의 부족이었고, 대신 위키백과 같은 자유 텍스트는 넘쳐났다. 다음 단어 맞히기라는 인위적 과제를 만들어 그 데이터를 학습으로 전환한 것이 사전학습이며, 이 과제는 왼쪽만 보는 인과 어텐션과 자연스럽게 맞는다. 한 번의 계산으로 모든 위치를 동시에 학습할 수 있어 효율적이지만, 학습 중 히스토리는 항상 원문 정답이라 자기 오답을 감당해본 적이 없다. 추론 때 튀는 출력 하나가 응답 전체를 망가뜨리는 샘플링 드리프트가 여기서 나온다.

확산 LLM으로 가는 길목에는 BERT가 있다. 텍스트 분류에는 입력 전체가 처음부터 주어지므로 인코더가 맞지만, 다음 단어 예측은 쓸 수 없어 토큰의 15%를 마스크로 가리고 복원시키는 과제가 고안됐다. 마스킹 확산 모델은 여기서 한 걸음만 더 간다. 컨텍스트 창을 마스크로 채우고, 확산 단계 수와 노이즈 일정에 따라 조금씩 마스크를 벗기며 신뢰도가 낮은 토큰은 다시 가린다. 학습 때는 15% 고정 대신 샘플마다 노이즈 수준을 무작위로 뽑는다. 다만 한 번에 일부 토큰만 예측하므로 학습 효율은 자기회귀보다 떨어진다.

주요 인사이트

• '트랜스포머 대 확산'은 층위가 어긋난 비교다. 트랜스포머는 입력과 출력을 잇는 모델 구조이고, 자기회귀와 확산은 그 구조 위에서 문장을 만들어내는 방식이다.
• 모델 구조의 본질은 표현력과 비용의 타협이다. 뉴런을 전부 연결하면 표현력은 최대지만 연결 수가 제곱으로 불어나 감당할 수 없어, 어떤 연결을 쳐낼지 정하는 것이 설계의 핵심이다.
• 확산 스텝 수는 속도와 품질을 조절하는 손잡이다. 적게 잡으면 빠르고 거칠며, 많이 잡으면 느리지만 초안을 여러 번 다듬는다.
• 확산 방식은 매 단계 자기 초안을 다시 손보므로, 학습과 추론의 조건이 달라 생기는 샘플링 드리프트를 구조적으로 피한다.
• 텍스트 확산은 표준이 정해지지 않은 초기 분야지만, 이해와 구현이 쉬운 BERT식 마스킹 방식으로 수렴하는 흐름이 뚜렷하다.

자주 묻는 질문

관련 AI 소식