RoPE 위치 인코딩 원리: 트랜스포머가 단어 순서를 회전으로 담는 법

핵심 메시지

• 셀프 어텐션은 내적으로 단어를 비교하기 때문에 순서를 바꿔도 결과가 같아, 문장을 순서가 아닌 '단어 묶음'으로 읽는다.
• 위치에 0,1,2… 숫자를 그냥 더하는 방식은 값이 무한정 커지고, 학습 때 못 본 먼 위치는 처리하지 못해 실패한다.
• 원조 트랜스포머는 서로 다른 속도의 사인·코사인 파동 묶음으로 위치마다 고유한 '지문'을 만들어 임베딩에 더했다.
• 어텐션에 정말 중요한 것은 절대 위치가 아니라 두 단어 사이의 간격(상대 위치)이다.
• RoPE는 위치를 더하는 대신 벡터를 각도만큼 회전시켜, 내적 점수가 오직 두 위치의 차이에만 의존하도록 만든다.

쉽게 이해하기

"The cat sat"와 "Sat the cat"은 사람에게는 전혀 다른 뜻이지만, 트랜스포머의 핵심인 셀프 어텐션에게는 사실상 같다. 어텐션은 모든 단어를 서로 내적으로 비교하는데, 내적은 순서를 따지지 않기 때문이다. 그래서 같은 단어들이 들어가면 순서를 뒤섞어도 같은 답이 나온다. 결국 위치 정보는 우리가 따로 넣어 줘야 한다.

가장 단순한 발상은 토큰에 0, 1, 2처럼 번호를 매겨 임베딩에 더하는 것이다. 하지만 이 방식은 두 가지로 깨진다. 번호가 끝없이 커져 5000번째 위치쯤 되면 단어의 실제 의미를 숫자가 덮어버리고, 짧은 문장으로 학습한 모델은 5000번 같은 위치를 본 적이 없어 어떻게 다뤄야 할지 모른다.

원조 트랜스포머의 해법은 하나의 숫자 대신 여러 파동을 쓰는 것이다. 첫 파동은 빠르게, 다음은 조금 느리게 진동하며 각 주파수가 앞의 것의 일정 비율로 정해진다. 시계의 초침·분침·시침이 함께 한 순간을 특정하듯, 각 위치에서 모든 파동의 높이를 읽으면 고유한 지문이 나오고 이를 임베딩에 더한다. 짝수 차원은 사인, 홀수 차원은 코사인을 쓰며 주파수는 1/10000^(2i/d)로 정해진다.

그런데 어텐션이 진짜 필요로 하는 정보를 생각해 보면, 언어에서 중요한 것은 '내가 5번 단어'라는 절대 위치가 아니라 '너는 나보다 두 칸 뒤', '바로 옆', '멀리 떨어짐' 같은 간격이다. 즉 두 위치의 차 N−M이 의미를 나른다. 사인파 인코딩은 절대 위치를 저장한 뒤 신경망이 알아서 그 차이를 계산해 주길 기대할 뿐이다.

RoPE(회전 위치 임베딩)는 여기서 출발한다. 위치 벡터를 더하는 대신 쿼리를 2차원 쌍으로 나눠 각 쌍을 '위치 × 주파수'만큼 회전시킨다. 위치 M의 쿼리는 Mθ만큼, 위치 N의 키는 Nθ만큼 돌아간다. 둘의 내적을 펼치면 두 회전이 N−M이라는 하나의 회전으로 합쳐져, 점수가 오직 위치 차이에만 의존하게 된다. 문장 전체를 100토큰 밀어도 두 시곗바늘 사이 각도가 그대로이듯 어텐션 점수도 그대로다. 상대 위치가 기하학에서 공짜로 떨어지기에, RoPE는 거의 모든 최신 언어 모델에 등장한다.

주요 인사이트

• 내적이 순서를 무시한다는 성질이 곧 '위치 정보를 따로 주입해야 하는' 근본 이유다. 위치 인코딩은 어텐션의 결함을 메우는 장치인 셈이다.
• 좋은 위치 표현의 조건은 세 가지다. 값이 유계일 것(무한정 커지지 않을 것), 위치마다 고유할 것, 그리고 상대 거리를 담을 수 있을 것이다. 단순 번호 더하기는 앞의 두 조건에서 이미 무너진다.
• 사인파 인코딩과 RoPE는 모두 '빠른 파동부터 느린 파동까지'라는 같은 주파수 사다리를 쓴다. 차이는 위치를 더하느냐(사인파) 회전으로 바꾸느냐(RoPE)에 있다.
• RoPE의 핵심 이점은 상대 위치를 모델이 학습으로 알아내야 하는 대상이 아니라, 회전의 기하학에서 자동으로 보장되는 성질로 만든 데 있다.

자주 묻는 질문

관련 AI 소식