트랜스포머 구조 완전 해설: 어텐션·멀티헤드·잔차연결이 존재하는 이유

핵심 메시지

• 트랜스포머는 2017년 기계 번역(영어→프랑스어)을 풀기 위해 제안됐으며, 모든 토큰을 동시에 처리해 LSTM보다 학습과 추론이 빠르다.
• 핵심은 셀프 어텐션이다. 각 토큰을 쿼리·키·값 세 벡터로 나눠, '내가 찾는 것(쿼리)'과 '각 토큰이 제공하는 것(키)'을 대조해 문맥 정보를 값 벡터에 반영한다.
• 멀티헤드 어텐션은 여러 종류의 토큰 간 관계를 병렬로 학습하게 하고, 잔차(스킵) 연결과 층 정규화는 깊은 신경망의 학습을 가능하게 한다.
• 디코더는 마스킹으로 뒤 토큰을 훔쳐보지 못하게 하고, 크로스 어텐션으로 인코더의 정보를 끌어와 한 토큰씩 자기회귀적으로 출력을 생성한다.

쉽게 이해하기

트랜스포머는 2017년 언어 번역 문제를 해결하기 위해 처음 소개된 구조다. 영어 문장을 토큰으로 쪼개 인코더에 한꺼번에 넣으면 각 토큰의 벡터 표현이 동시에 만들어지고, 이 벡터에는 입력 문장 안의 전역적 관계와 문맥 정보가 담긴다. 디코더는 시작 토큰과 이 벡터들을 이용해 프랑스어 토큰을 한 개씩 자기회귀적으로 생성한다.

이 구조가 강력한 이유는 이전 최고 성능이던 LSTM의 한계를 넘기 때문이다. LSTM은 토큰을 하나씩 순차 처리해 느리고, '시간에 따른 역전파'라는 느린 학습 알고리즘에 의존하며, 입력이 길어질수록 장기 의존성을 잡기 어렵다. 반면 트랜스포머는 모든 토큰을 병렬 처리해 표준 역전파로 빠르게 학습하고, 셀프 어텐션으로 모든 토큰을 서로 연결해 입력·출력 길이와 무관하게 풍부한 표현을 얻는다.

인코더 내부에서는 먼저 각 토큰을 512차원 임베딩으로 바꾸고, 입력이 동시에 들어가 순서 정보가 사라지므로 위치 인코딩을 더한다. 이후 각 토큰 벡터를 쿼리·키·값 벡터로 변환하고 8개 헤드로 나눠 셀프 어텐션을 수행한다. 어텐션 행렬은 0~1 사이 값을 가지며 값 벡터에 곱해져, 전 토큰에 걸쳐 학습된 전역 표현을 담은 새 토큰 벡터를 만든다.

인코더에는 잔차(스킵) 연결과 층 정규화, 피드포워드 층이 반복적으로 들어간다. 잔차 연결은 2015년 ResNet에서 대중화된 기법으로, 그래디언트가 역방향으로 쉽게 전파되게 해 기울기 소실이나 성능 저하 없이 층을 깊게 쌓게 해 준다. 층 정규화는 수렴 속도를 높이고, 피드포워드 층은 비선형성을 더해 문맥 정보를 풍부하게 만든다. 이런 인코더 블록을 여러 층 쌓을수록 토큰 표현은 더 추상적이고 풍부해진다.

디코더는 추론 시 시작 토큰을 임베딩으로 바꾸고 위치 인코딩을 더한 뒤, 마스킹된 셀프 어텐션을 수행한다. 마스킹은 학습 때 정답 문장 전체가 주어지더라도 중간 토큰이 뒤 토큰을 참조해 '부정행위'하는 것을 막는다. 이어 크로스 어텐션에서 디코더의 쿼리와 인코더의 키·값을 결합해 정보를 섞고, 최종적으로 선형층으로 512차원을 어휘 크기(예: 2만)로 확장한 뒤 소프트맥스로 확률 분포를 만들어 다음 토큰을 샘플링한다.

주요 인사이트

• 쿼리·키·값이라는 세 갈래 분리는 어텐션에 '학습 가능한 매칭 시스템'을 부여한다. 쿼리는 토큰이 무엇을 필요로 하는지 묻고, 키는 각 토큰이 무엇을 제공하는지 나타내며, 값은 실제로 전달되는 정보를 담는다.
• 멀티헤드가 존재하는 이유는 하나의 어텐션으로는 한 종류의 관계만 학습하기 때문이다. 여러 헤드가 서로 다른 관계를 병렬로 학습한 뒤 이어 붙여 표현력을 키운다.
• 잔차 연결과 층 정규화는 성능 자체보다 '깊게 쌓아도 학습이 되게' 하는 장치다. 이 둘이 없으면 층을 늘릴 때 기울기 소실과 성능 저하가 발생한다.
• 디코더의 마스킹과 크로스 어텐션은 각각 '미래 정보 차단'과 '인코더 정보 주입'이라는 서로 다른 목적을 가진, 트랜스포머 생성 과정의 핵심 두 축이다.

자주 묻는 질문

관련 AI 소식