어텐션 잔차(Attention Residuals) 해설: 키미가 트랜스포머 깊이 문제를 푼 방법

핵심 메시지

• 트랜스포머는 층이 깊어질수록 이전 층의 출력이 하나의 표현으로 반복 압축돼 초기 정보가 희석된다. 연구진은 이를 프리놈 희석 문제라고 부른다.
• 키미(문샷 AI)의 해법은 어텐션을 깊이 방향으로 한 번 더 쓰는 것이다. 각 층이 이전 모든 층의 출력을 개별적으로 보고, 지금 입력에 맞춰 가중치를 스스로 정한다.
• 층 수만큼 어텐션을 걸면 연산이 이차로 늘어나므로, 층을 블록으로 묶고 블록 사이에는 요약 표현만 참조하는 블록 어텐션 잔차를 함께 제안했다.
• 블록 방식은 전체 방식과 성능 곡선이 거의 겹치면서도, 기존 방식과 같은 성능을 약 1.25배 적은 연산으로 달성한다. 학습 오버헤드는 4%, 추론 지연 증가는 2% 미만이다.
• 480억 파라미터 모델을 1.4조 토큰으로 학습한 실험에서 모든 평가 과제가 개선됐고, 특히 다단계 추론 과제에서 향상 폭이 컸다.

쉽게 이해하기

영상은 2026년 들어 석 달 만에 나온 여러 아키텍처 변화 가운데 키미(문샷 AI)의 어텐션 잔차 논문을 가장 눈여겨볼 것으로 꼽는다. 아이디어가 깨끗하고 직관적인 데다, 자사 모델로 대규모 검증까지 마쳤다는 점 때문이다. 핵심 저자 중 한 명이 16세 고등학생이라는 사실도 함께 소개된다.

문제의 출발점은 층을 쌓는 방식 자체에 있다. 발표자는 매 강의가 끝날 때마다 지금까지의 노트를 통째로 요약하고, 다음 강의에서는 그 요약에 새 내용을 더해 다시 요약하는 상황에 비유한다. 처음에는 괜찮지만 학기 말이 되면 원본 노트는 사라지고 요약의 요약만 남아 초기 강의의 세부는 흐릿해진다. 트랜스포머도 같은 방식으로 이전 층 출력을 한 표현에 계속 눌러 담기 때문에, 초기 정보가 점점 묽어지고 되살릴 방법이 없다.

게다가 모든 층의 기여가 같은 가중치로 더해지다 보니 뒤쪽 층은 앞선 층들이 쌓아 올린 신호와 경쟁해야 한다. 눈에 띄려면 점점 더 큰 크기의 출력을 내야 하고, 그 결과 초기 정보는 희석되는데 후반 층은 불균형하게 커지는 현상이 나타난다. 발표자는 이것이 순환신경망이 시퀀스 방향에서 겪었던 문제와 같다고 지적한다. 어텐션이 그 문제를 해결했다면, 깊이 방향에도 같은 처방을 쓰지 못할 이유가 없다는 것이다.

그래서 나온 것이 어텐션을 90도 돌린다는 발상이다. 각 층은 이전 모든 층의 출력으로 향하는 직접 경로를 갖고, 쿼리를 만들어 그 출력들과 비교해 점수를 낸다. 정규화를 거쳐 합이 1이 되는 가중치가 만들어지고, 최종 출력은 과거 표현들의 가중 결합이 된다. 고정된 지름길이던 잔차 연결이, 입력에 따라 달라지는 학습 가능한 라우팅으로 바뀌는 셈이다.

다만 층이 128개면 벡터 128개를 계속 살려둬야 하고 마지막 층에서만 8,000회 안팎의 어텐션 연산이 필요해진다. 논문은 층을 블록으로 묶어 블록 안에서는 평소처럼 동작하되 블록 끝에서 하나의 요약 표현으로 합치고, 블록 사이에서는 그 요약만 참조하는 방식을 제안한다. 128개 대신 블록당 12개 층씩 묶은 8개 표현만 다루면 되므로 메모리와 연산이 층 수가 아니라 블록 수에 비례하게 된다.

주요 인사이트

• 깊이를 '무조건 쌓기'에서 '골라 꺼내 쓰기'로 바꾼 것이 이 논문의 본질이다. 정보를 잃지 않는 것보다, 나중에 필요할 때 되찾을 수 있게 만드는 편이 효율적이라는 관점 전환이다.
• 층들이 크기가 아니라 관련성으로 경쟁하게 되면서 부작용 하나가 사라졌다. 표준 구조에서는 후반 층의 벡터 크기가 지수적으로 커지는 반면, 블록 어텐션 잔차에서는 그 크기가 일정하게 유지된다.
• 정밀도를 조금 내주고 효율을 크게 얻는 절충이 잘 들어맞았다. 블록 단위 요약만 참조하는데도 성능 곡선이 전체 방식과 거의 겹친다는 점이 실용성의 근거가 됐다.
• 논문 분량의 3분의 2가 효율화에 할애됐다는 사실은, 요즘 연구가 아이디어만으로 끝나지 않는다는 걸 보여준다. 2단계 계산 전략과 파이프라인 단계 간 캐싱까지 설계해야 대규모에서 통한다.
• 비슷한 문제를 다루는 mHC와는 방향이 다르다. mHC가 층 안에서 여러 스트림을 유지해 네트워크를 넓히는 쪽이라면, 어텐션 잔차는 층과 층의 연결 방식을 바꾸는 깊이 쪽이라 이론상 직교적이다. 다만 함께 쓰면 수익 체감과 구현 복잡도 때문에 이점이 상쇄될 가능성이 크다.

자주 묻는 질문

관련 AI 소식