트랜스포머 강의 정리: 어텐션·토크나이저·포지셔널 인코딩부터 마스킹과 잔차 연결까지

핵심 메시지

• 어텐션은 키 하나만 고르는 룩업 테이블을 부드럽게 만든 장치로, 모든 키에 확률을 매긴 뒤 값들을 가중합해 가져온다.
• 크로스 어텐션은 서로 다른 두 시퀀스를 잇고, 셀프 어텐션은 같은 문장 안에서 현재 토큰이 어떤 토큰과 관련되는지를 본다.
• 내적으로 어텐션 점수를 구하면 차원이 커질수록 값이 과하게 커지므로, 키 벡터 차원의 제곱근으로 나누는 스케일드 닷 프로덕트를 쓴다.
• 토크나이저는 문자 단위와 단어 단위 모두 사전 크기와 신조어 문제에 부딪히고, 그래서 자주 등장하는 쌍을 반복해 병합하는 서브워드 방식이 표준이 됐다.
• 어텐션만 쓰면 순서 정보가 사라지기 때문에 위치 인코딩이 필요하고, 디코더에서는 미래 토큰의 점수를 음의 무한대로 만들어 참조를 막는다.

쉽게 이해하기

이 영상은 대학의 LLM 강의 두 번째 회차로, 원본 트랜스포머 논문의 구성 요소를 하나씩 뜯어본다. 강의자는 어텐션을 설명하기 전에 룩업 테이블 이야기를 먼저 꺼낸다. 파이썬 딕셔너리처럼 키와 값이 짝을 이루고 질의를 던져 하나를 골라 오는 구조를 떠올린 뒤, 어텐션은 여기서 '하나만 고르기'를 '모두에 확률 매기기'로 바꾼 것이라고 정리한다.

이어서 크로스 어텐션과 셀프 어텐션의 차이를 설명한다. 번역처럼 입력과 출력이 다른 언어일 때는 인코더의 정보를 디코딩 단계마다 직접 끌어오는 크로스 어텐션이 쓰이고, 한 문장 안에서 대명사가 무엇을 가리키는지 파악하는 문제에는 셀프 어텐션이 필요하다. 강의자는 대명사가 앞의 명사에 높은 점수를 주는 시각화를 예로 든다.

어텐션 점수를 구하는 방법으로는 두 벡터를 이어 붙여 층을 통과시키는 방식, 가운데에 가중치 행렬을 두는 방식, 단순 내적, 그리고 내적을 차원으로 보정하는 스케일드 닷 프로덕트가 소개된다. 실제로 가장 널리 쓰이는 것은 마지막 방식인데, 차원이 커질수록 내적 값이 지나치게 커지는 문제를 막기 위해서다.

토크나이저 대목에서는 문자 단위와 단어 단위 방식의 한계를 먼저 보여 준다. 문자 단위는 다국어를 지원할 때 유니코드 문자 수가 지나치게 많아지고, 단어 단위는 사전이 비대해지는 데다 새로 생기는 단어를 담을 방법이 없다. 그래서 학습 데이터에서 가장 자주 붙어 나오는 쌍을 찾아 반복 병합하는 바이트 페어 인코딩이 널리 쓰이게 됐다.

마지막으로 트랜스포머 블록의 나머지 부품을 정리한다. 사인·코사인 함수로 만든 위치 인코딩을 임베딩에 더하고, 서로 다른 관점을 얻기 위해 어텐션을 여러 갈래로 나눈 뒤 다시 합치며, 디코더에서는 마스킹으로 미래를 가린다. 여기에 잔차 연결과 레이어 정규화, 그리고 비선형성을 보태는 포인트와이즈 피드포워드가 더해져 한 블록이 완성되고, 이 블록을 여러 번 반복한 것이 전체 구조다.

주요 인사이트

• 멀티헤드가 필요한 이유를 강의자는 문장 해석의 다중성으로 설명한다. 같은 동사라도 뒤에 오는 목적어에 따라 뜻이 갈리고 문법적 일치도 따로 봐야 하므로, 어텐션을 여러 갈래로 두어 서로 다른 관점을 동시에 살피게 한다는 것이다.
• 미래 토큰을 가릴 때 아예 계산을 건너뛰지 않고 점수에 음의 무한대를 더하는 이유는 GPU 때문이다. 조건 분기를 넣는 것보다 모든 연산을 한꺼번에 병렬로 처리하는 편이 빠르므로, 소프트맥스를 통과하면 사라지는 값을 더하는 방식으로 우회한다.
• 사인·코사인 기반 위치 인코딩은 차원마다 주기가 달라지도록 설계돼, 학습 때 보지 못한 길이의 문장에도 어느 정도 일반화되고 가까운 위치와 먼 위치를 다루는 규칙이 자연스럽게 생긴다.
• 잔차 연결이 잘 되는 이유로는 최적화 지형을 시각화한 연구가 인용된다. 연결이 없으면 지형이 복잡해 국소 최솟값에 빠지기 쉽지만, 연결을 넣으면 지형이 매끄러워져 학습이 쉬워진다는 설명이다.
• 어텐션만 쌓으면 원소 단위 연산과 활성 함수가 없어 표현력이 늘지 않는다. 그래서 각 블록에 선형 층과 활성 함수로 이루어진 피드포워드를 함께 두어 비선형성을 확보한다.

자주 묻는 질문

관련 AI 소식