셀프 어텐션 시각적으로 이해하기: 쿼리·키·값 벡터와 위치 인코딩으로 보는 트랜스포머 원리

핵심 메시지

• 트랜스포머의 핵심 혁신은 셀프 어텐션이며, GPT의 'T'가 바로 트랜스포머를 뜻한다.
• 텍스트가 어려운 이유는 멀리 떨어진 단어끼리도 서로의 의미에 영향을 주는 장거리 의존성 때문이다.
• 각 토큰은 세 개의 작은 신경망을 거쳐 쿼리·키·값(Q·K·V) 벡터로 변환된다.
• 쿼리와 키의 유사도가 높을수록 해당 토큰의 값이 더 강하게 반영되어 새로운 표현이 만들어진다.
• 어텐션 자체는 순서를 모르기 때문에, 서로 다른 주파수의 사인파를 더한 위치 인코딩으로 순서 정보를 넣는다.

쉽게 이해하기

이 설명은 트랜스포머의 여러 구성 요소 가운데 셀프 어텐션 하나에 집중한다. 수학 공식이나 비유가 아니라, 알고리즘이 실제로 밟는 단계를 시각적으로 따라가며 '왜 어텐션이 필요한가'와 '어텐션이 무엇을 하는가'를 보여 준다.

텍스트가 이미지보다 다루기 어려운 이유로 장거리 의존성을 든다. 책에서 앞 장의 한 문단을 바꾸면 100페이지 뒤의 의미가 달라지듯, 어떤 단어든 멀리 떨어진 다른 단어의 의미에 영향을 줄 수 있다. 문제는 어떤 부분이 어떤 부분에 영향을 주는지 미리 알 수 없다는 점이며, 바로 이 관계를 학습하는 것이 어텐션의 역할이다.

동작 방식은 이렇다. 먼저 텍스트를 토큰으로 나누고 각 토큰을 숫자 목록(임베딩)으로 표현한다. 각 토큰을 세 개의 작은 신경망에 통과시켜 쿼리(Q)·키(K)·값(V)을 얻는다. 쿼리는 관련 있는 다른 토큰을 '검색'하는 데 쓰이고, 그 검색은 현재 단어의 쿼리를 다른 모든 단어의 키와 비교해 이뤄진다. 유사도가 높으면 그 단어의 값을 강하게, 낮으면 약하게 반영해 합치면 새로운 표현이 된다.

따라서 Q·K를 만드는 신경망은 관련된 토큰끼리 비슷한 벡터를 내도록, V는 그 토큰이 다른 토큰에 어떤 식으로 영향을 줄지를 담도록 학습된다. 이 과정을 모든 토큰에 대해 반복한다.

하지만 지금까지의 어텐션은 단어의 순서를 전혀 고려하지 않아 '사람이 배 밖으로 떨어졌다'와 '판자가 사람 위로 떨어졌다'를 구분하지 못한다. 이를 해결하는 것이 위치 인코딩이다. 0에서 1로 커지는 단일 차원이나 하나의 사인파는 너무 매끄럽거나 대칭이라 한계가 있어, 서로 다른 주파수의 사인파 여러 개를 차원으로 더해 순서 정보를 표현한다. 실제 LLM은 이런 어텐션 층을 여러 개 쌓아 더 풍부하고 추상적인 관계를 포착한다.

주요 인사이트

• 어텐션은 '어떤 부분이 서로 관련되는가'(Q·K 유사도)와 '어떻게 관련되는가'(V)를 분리해 학습한다.
• 토큰을 벡터로 표현하고 유사도를 색으로 비유하면, 고차원 벡터 연산을 직관적으로 이해할 수 있다.
• 쿼리·키·값이라는 이름은 검색(쿼리)-대조(키)-영향(값)이라는 실제 사용 방식에서 비롯된다.
• 위치 정보가 없으면 같은 단어들의 뒤섞인 배열과 올바른 문장을 구분할 수 없다.
• 단일 사인파는 대칭성 때문에 문장과 그 역순을 같게 보므로, 여러 주파수의 사인파가 필요하다.

자주 묻는 질문

관련 AI 소식