트랜스포머 구조 완전 정리 - 어텐션, 인코더·디코더, 학습과 추론 원리

핵심 메시지

• 순환신경망(RNN)은 긴 시퀀스에서 느리고, 기울기 소실·폭발과 오래된 정보 접근 문제를 안고 있어 트랜스포머가 이를 해결했다.
• 셀프 어텐션은 문장 속 단어들이 서로 얼마나 관련되는지를 계산하며, Q·K·V 행렬과 소프트맥스로 관계 점수를 만든다.
• 멀티헤드 어텐션은 임베딩을 여러 조각으로 나눠 각 헤드가 단어의 다른 측면을 학습하도록 한다.
• 위치 인코딩은 사인·코사인 함수로 한 번만 계산되며 단어의 순서 정보를 임베딩에 더한다.
• 트랜스포머 학습은 한 번의 패스로 끝나지만, 추론은 토큰을 하나씩 생성하며 진행된다.

쉽게 이해하기

이 강의는 트랜스포머가 등장하기 전 널리 쓰이던 순환신경망(RNN)의 문제부터 짚는다. RNN은 입력 시퀀스를 토큰 단위로 하나씩 처리하며 이전 시점의 은닉 상태를 다음 단계로 넘기는데, 시퀀스가 길수록 계산이 느려지고 학습이 어려워진다. 또 계산 그래프가 길어지면 곱셈이 반복되면서 값이 아주 작아지거나 커지는 기울기 소실·폭발이 생기고, 문장 앞부분의 정보가 뒤로 갈수록 거의 사라져 먼 맥락을 반영하기 힘들다.

트랜스포머는 크게 인코더와 디코더 두 블록으로 나뉘고 맨 위에 선형 계층이 붙는다. 입력 문장은 토큰으로 나뉘어 어휘 사전 상의 위치(입력 ID)로 바뀌고, 각 토큰은 512차원 임베딩 벡터로 매핑된다. 이 임베딩은 학습 과정에서 단어의 의미를 담도록 값이 조정된다. 여기에 위치 인코딩을 더해 단어의 순서 정보를 부여한다.

핵심은 셀프 어텐션이다. 같은 문장을 나타내는 Q·K·V 행렬을 만들어 소프트맥스(QK^T/√dk)V를 계산하면, 각 단어가 자기 자신과 다른 단어들에 대해 갖는 관계 점수가 담긴 새 임베딩이 나온다. 이 연산은 순서를 바꿔도 값이 그대로 따라오는 성질(순열 불변)을 가지며, 임베딩 외에 학습 파라미터가 필요 없다. 특정 단어끼리 상호작용을 막고 싶으면 소프트맥스 이전에 값을 마이너스 무한대로 바꿔 0으로 만든다.

멀티헤드 어텐션은 Q·K·V에 각각 WQ·WK·WV 파라미터 행렬을 곱한 뒤, 임베딩 차원을 헤드 수만큼 쪼갠다. 각 헤드는 문장 전체를 보지만 임베딩의 일부만 담당하므로, 한 단어가 문맥에 따라 명사·동사 등 서로 다른 역할을 하는 측면을 각기 다른 헤드가 포착할 수 있다. 헤드들의 결과를 이어 붙이고 WO를 곱해 원래 크기로 되돌린다.

디코더는 출력 문장을 임베딩·위치 인코딩한 뒤 마스크드 멀티헤드 어텐션으로 미래 단어를 못 보게 막는다(인과성). 이어지는 어텐션은 디코더에서 온 쿼리와 인코더 출력에서 온 키·값을 결합하는 교차 어텐션이다. 학습 때는 문장 시작·끝 토큰(SOS·EOS)과 패딩을 붙여 한 번의 패스로 교차 엔트로피 손실을 계산하고 역전파한다. 추론 때는 SOS부터 시작해 토큰을 하나씩 생성하며 EOS가 나올 때 멈추고, 매 스텝 가장 확률 높은 단어를 고르는 그리디 방식이나 상위 후보를 유지하는 빔 서치를 쓸 수 있다.

주요 인사이트

• 트랜스포머가 빠른 이유는 RNN처럼 시점을 반복하지 않고 인코더·디코더 입력을 한 번에 처리하기 때문이다.
• 위치 인코딩은 학습되지 않고 모델 생성 시 한 번만 계산해 재사용하므로 모든 문장에 같은 벡터가 쓰인다.
• 레이어 정규화는 배치 안 각 항목을 독립적으로 평균·분산으로 정규화하고, 학습 가능한 감마·베타로 필요한 값을 증폭한다.
• Q·K·V라는 이름은 데이터베이스의 키·값과 쿼리 개념에서 왔으며, 쿼리와 키의 내적으로 관련성 점수를 만든다.
• 인코더 출력은 추론 매 스텝마다 다시 계산할 필요가 없다. 입력 영어 문장이 바뀌지 않기 때문이다.

자주 묻는 질문

관련 AI 소식