딥마인드 퍼시버(Perceiver) 논문 해설 — 잠재 배열과 크로스 어텐션으로 푼 트랜스포머 이차 병목

핵심 메시지

• 퍼시버는 데이터를 자기 자신과 어텐션시키지 않고, 크기가 작은 잠재 배열이 데이터를 향해 질문을 던지는 구조로 이차 비용을 피한다.
• 이미지는 격자도 패치도 아닌 그냥 펼친 픽셀 배열로 들어가며, 모델 안에는 '이것이 이미지'라는 가정이 사실상 남아 있지 않다.
• 같은 입력이 층마다 다시 들어오고 가중치를 공유할 수 있어, 구조적으로는 순환 신경망과 닮아 있다.
• 반복이 거듭될수록 질문 자체가 앞서 읽은 데이터의 영향을 받아, 모델이 무엇을 더 볼지 스스로 좁혀 간다.
• 이차 병목은 풀렸지만 선형적으로 큰 데이터는 여전히 부담이라, 비디오는 시공간 조각으로 나눠 넣는다.

쉽게 이해하기

일반적인 비전 모델은 이미지가 격자라는 사실을 구조에 새겨 넣는다. 합성곱은 주변 픽셀이 서로 관련 있다고 가정하고, 비전 트랜스포머조차 이미지를 패치로 잘라 한 벡터로 묶으면서 '가까운 픽셀은 한 덩어리'라는 가정을 남긴다. 퍼시버는 이런 사전 가정을 걷어내고 어떤 형태의 데이터든 같은 방식으로 받아들이는 것을 목표로 한다.

걸림돌은 비용이다. 셀프 어텐션은 입력 길이의 제곱에 비례하는 메모리와 연산을 요구하는데, 224×224 이미지를 픽셀 단위로 펼치면 5만 개가 넘는 원소가 되어 계산이 감당되지 않는다. 자연어에서 다루는 수천 토큰과는 규모가 다르다.

퍼시버의 해법은 초기 트랜스포머의 크로스 어텐션을 되살리는 것이다. 500~1000개 수준의 작은 잠재 배열이 쿼리를 만들고, 거대한 데이터 배열은 키와 값만 제공한다. 그 결과 어텐션 행렬은 데이터 크기의 제곱이 아니라 잠재 크기와 데이터 크기의 곱이 되고, 무거운 셀프 어텐션은 작은 잠재 공간 안에서만 일어난다.

같은 데이터가 층마다 반복해서 들어오고 가중치를 공유할 수도 있어 사실상 순환 구조가 된다. 처음의 질문은 데이터를 전혀 모르는 일반적인 것이지만, 한 번 훑고 나면 그다음 질문은 읽은 내용에 따라 달라진다. 해설자는 이 점진적 정교화를 이 논문의 매력으로 꼽는다.

성능 면에서는 이미지넷에서 ResNet-50과 비슷한 수준을 내면서, 오디오와 비디오, 3차원 점군에서도 경쟁력 있는 결과를 보인다. 층을 48개까지 쌓아도 파라미터 수는 표준 ResNet과 비슷한 수준에 머문다.

주요 인사이트

• 위치 정보는 학습된 임베딩이 아니라 푸리에 특징으로 준다. 낮은 주파수는 대략적인 인접성을, 높은 주파수는 미세한 차이를 담당해 최대 길이에 덜 묶인다는 장점이 있다.
• 해설자는 시각화된 어텐션 맵에 의문을 제기한다. 첫 층은 실제 피사체 윤곽을 따라가지만 중간 층들은 격자 무늬에 가까워, 입력에 따라 달라지는 것인지 아니면 학습된 일반적 패턴인지 확인이 필요하다는 지적이다.
• 절제 실험에서는 잠재 변수 개수, 데이터를 다시 훑는 횟수, 훑을 때마다 쌓는 셀프 어텐션 층 수가 모두 늘수록 성능이 올랐다. 다만 이 요인들 사이의 상호작용은 따로 확인되지 않았다.
• 이 구조는 학습된 쿼리를 쓰는 객체 검출 모델 DETR과도 닮았다. 쿼리를 데이터에서 만들지 않고 직접 학습하기 때문에 개수를 설계자가 정할 수 있다.

자주 묻는 질문

관련 AI 소식