화제의 어텐션 대체 논문 리뷰: 그라스만 다양체 기반 구조는 정말 트랜스포머를 넘었나

핵심 메시지

• 이 논문은 셀프 어텐션의 두 가지 약점, 즉 해석 불가능성과 시퀀스 길이 제곱에 비례하는 연산 복잡도를 문제 삼는다.
• 제안 구조는 두 벡터가 만드는 평면 자체를 특징으로 삼아, 수학적으로 잘 연구된 그라스만 다양체 위의 점으로 옮긴다.
• 실험은 위키텍스트-2 언어 모델링과 SNLI 분류 정도로 규모가 작고, 퍼플렉시티에서는 트랜스포머가 여전히 앞섰다.
• 이론상 복잡도는 시퀀스 길이에 선형이지만, 현재 GPU 커널이 행렬 연산에 맞춰져 있어 실제 속도 이점은 아직 나타나지 않는다.
• 발표자의 결론은 기하학적 아이디어 자체는 새롭고 가치 있으나, 대규모 검증 전까지 혁신이라 부르기는 이르다는 것이다.

쉽게 이해하기

SNS에서 'Attention Is Not What You Need'라는 제목의 논문이 화제가 됐다. 부제는 시퀀스 모델링을 위한 어텐션 없는 대안으로서의 그라스만 흐름이다. 수학을 공부했던 발표자가 호기심에 논문을 읽고, 과열된 반응과 실제 내용 사이의 거리를 짚는 리뷰다.

논문이 지목하는 어텐션의 문제는 두 가지다. 하나는 해석 불가능성이다. 셀프 어텐션은 L개의 입력 벡터에서 쌍마다의 상호작용을 뽑아내는데(발표자는 이를 텐서 리프팅이라 부른다), 그 결과가 어떤 공간에 놓이는지 수학적으로 파악하기 어렵다. 다른 하나는 잘 알려진 문제로, 컨텍스트 길이가 L일 때 연산량이 L 제곱에 비례한다는 점이다. 선형 복잡도를 노린 대체 아키텍처는 이미 여럿 나와 있고, 발표자는 키미 리니어나 LG 엑사원 4.0의 슬라이딩 윈도 어텐션을 예로 든다.

핵심 개념은 그라스만 다양체다. r차원 공간 안에 있는 모든 k차원 부분 공간을 각각 하나의 점으로 보고 모아 만든 공간으로, 미분기하와 대수기하에서 오래 연구돼 구조가 잘 알려져 있다. 논문은 k가 2인 경우, 즉 평면들의 공간을 주로 쓴다. 두 벡터가 만드는 평면을 플뤼커 임베딩으로 보내면, 같은 평면을 나타내는 기저를 어떻게 잡아도 결과 벡터의 방향은 변하지 않는다. 이 불변성 덕분에 평면 하나가 방향 하나로 대응된다.

제안 아키텍처는 입력 벡터를 낮은 차원으로 줄인 뒤, 서로 다른 크기의 윈도를 두고 각 위치의 벡터를 일정 간격 떨어진 벡터와 짝지어 평면을 만든다. 그 평면들을 플뤼커 임베딩으로 보내 정규화하고, 다시 선형 변환한 뒤 평균을 내 특징 벡터를 얻는다. 여기에 원래 입력 벡터를 학습 가능한 게이트로 섞고 레이어 정규화와 피드포워드 블록을 붙이는데, 잔차 연결과 후단 구조는 트랜스포머와 거의 같고 오직 셀프 어텐션 자리만 이 기하 연산으로 갈아 끼운 셈이다.

실험은 규모가 작다. 위키텍스트-2 언어 모델링에서는 비슷한 층수와 파라미터 기준으로 트랜스포머의 퍼플렉시티가 여전히 더 좋았고, 다만 층이 깊어질수록 격차가 줄어든다고 저자들은 주장한다. 문장 관계를 분류하는 SNLI 과제에서는 제안 모델이 더 나은 정확도를 보였다. 복잡도는 이론상 시퀀스 길이에 선형이지만, 현재 GPU 커널이 행렬 연산 위주로 최적화돼 있어 실제로는 기대만큼 빠르지 않을 수 있다는 단서가 붙는다.

주요 인사이트

• 발표자는 층이 깊어질수록 격차가 줄어든다는 주장에 일리가 있다고 본다. 어텐션은 한 층만으로 모든 쌍에 정보를 퍼뜨리지만, 윈도 기반 구조는 정보가 멀리 가려면 층을 여러 번 거쳐야 하기 때문이다.
• 그렇다고 윈도를 크고 다양하게 늘리면 그만큼 복잡도가 다시 올라가, 결국 제곱에 가까워질 수 있다는 점이 이 접근의 약점으로 지적된다.
• 해석 가능성 주장은 방향은 맞지만 증명은 부족하다. 매핑되는 공간의 구조를 안다는 것과, 그 구조로 실제 해석을 만들어 보이는 것은 다른 문제인데 논문은 후자를 제시하지 않았다.
• 확장 여지는 남아 있다. 평면 대신 3차원 이상의 부분 공간을 쓰면 쌍이 아니라 세 개 이상의 토큰 관계를 한꺼번에 특징으로 담는 시도가 가능하다.
• SNS의 화제성과 논문의 성숙도는 별개다. 수학적으로 세련된 대상을 끌어왔다는 사실만으로 성능이 보장되지는 않는다.

자주 묻는 질문

관련 AI 소식