토큰포머 논문 리뷰: 모델 파라미터를 토큰으로 다루는 트랜스포머 확장법과 그 실제 한계

핵심 메시지

• 토큰포머는 막스플랑크 정보학연구소·구글·베이징대가 함께 낸 논문으로, 모델 파라미터를 토큰처럼 다뤄 트랜스포머 확장의 새로운 축을 만들겠다고 제안한다.
• 기존 트랜스포머에서 선형 투영이 맡던 토큰과 파라미터의 상호작용을 어텐션으로 바꾸면, 학습을 마친 모델에 파라미터를 덧붙이고 이어서 학습할 수 있다.
• 새로 붙이는 파라미터를 0으로 초기화하면 기존에 학습한 지식을 그대로 둔 채 크기만 키울 수 있다는 것이 핵심 장치다.
• 리뷰어는 같은 크기에서 처음부터 학습한 모델이 오히려 더 나은 성능을 보인다는 점을 지적하며, 총 학습 비용은 줄어도 도달 지점은 더 나쁘다고 본다.
• 원조 트랜스포머의 피드포워드도 내부 차원을 자유롭게 조절할 수 있었기에, 실제로 새로운 부분은 비선형 함수를 소프트맥스로 바꾼 정도라는 것이 리뷰어의 결론이다.

쉽게 이해하기

트랜스포머를 더 크게 만들려면 대개 처음부터 다시 학습해야 한다. 토큰의 개수는 자유롭게 늘릴 수 있지만, 선형 투영에 박혀 있는 파라미터 행렬의 크기를 바꾸는 순간 모델 내부의 차원이 전부 달라지기 때문이다. 토큰포머 논문은 바로 이 지점을 겨냥해, 파라미터도 토큰처럼 취급하면 학습된 모델에 파라미터를 덧붙여 이어서 학습할 수 있다고 주장한다.

기존 트랜스포머에는 두 종류의 상호작용이 있다. 토큰끼리 서로를 참조하는 어텐션이 하나이고, 입력에 가중치 행렬을 곱하는 선형 투영이 다른 하나다. 쿼리·키·값을 만들 때도, 피드포워드 층을 통과할 때도 결국 입력과 파라미터가 곱해진다. 토큰포머는 이 두 자리를 모두 어텐션으로 바꿔, 학습 가능한 '키 파라미터'와 '밸류 파라미터'를 토큰의 묶음으로 두고 입력을 쿼리로 삼아 값들을 가중합한다.

어텐션에서는 쿼리의 개수와 키·값의 개수가 같을 필요가 없다. 키와 값의 개수만 맞으면 되므로, 키·값 토큰을 원하는 만큼 덧붙여도 입력과 출력의 차원은 그대로다. 여기에 새로 붙이는 쪽을 0으로 초기화하면 처음에는 모델의 동작이 전혀 달라지지 않고, LoRA처럼 학습한 상태를 유지한 채 규모만 키울 수 있다는 것이 논문의 설계다.

논문의 실험은 처음부터 학습한 트랜스포머와 단계적으로 키운 토큰포머의 학습 비용을 비교한다. 그런데 리뷰어가 숫자를 뜯어보니, 처음부터 학습한 쪽은 각 크기마다 3천억 토큰을 쓴 반면 토큰포머는 3천억 토큰으로 학습한 모델에 150억·300억·600억 토큰을 더 태워 키운 것이었다. 즉 토큰을 더 많이 보고도 같은 크기에서 성능이 뒤처지는 구간이 생기며, 가장 작은 기준선부터 이미 차이가 나는 점도 하이퍼파라미터 설정을 의심하게 만든다.

더 근본적인 비판은 새로움 자체를 향한다. 최초의 트랜스포머 논문에서도 피드포워드 층은 올리는 행렬과 내리는 행렬 사이에 비선형을 끼운 구조였고, 그 가운데 차원은 나머지 구조를 건드리지 않고 얼마든지 바꿀 수 있었다. 두 행렬을 각각 키·밸류라 부르고 0으로 채운 열과 행을 덧붙이면 토큰포머와 사실상 같은 일이 되므로, 남는 차이는 비선형을 ReLU 대신 스케일드 소프트맥스로 쓰고 그 방식을 어텐션 입력 계산에까지 확장한 점이라는 것이다.

주요 인사이트

• 확장 비용과 도달 성능은 다른 문제다. 이미 학습한 모델에서 출발하니 총 연산은 적게 들지만, 같은 크기 기준으로는 처음부터 학습한 모델보다 나쁜 지점에 머무는 구간이 있어 무엇을 아꼈는지 분명히 따져야 한다.
• 0을 채워 넣는 확장은 손쉽지만 최선은 아니다. 리뷰어는 직교 투영처럼 수학적 성질이 좋은 방식이 이미 있으며, 0으로 채우는 방식은 스케일 문제를 부를 수 있다고 지적한다.
• 이 방식으로 늘릴 수 있는 것은 층과 층 사이 변환의 계산 용량이지, 순전파 신호가 실어 나르는 표현 용량 자체가 아니다. 모델의 근본적인 수용력을 바꾸는 기법으로 오해하면 안 된다.
• 논문의 비교 대상이 파라미터를 늘리는 기존 기법 하나에 그친 점도 약점이다. 원조 트랜스포머가 이미 같은 자유도를 갖고 있었다는 사실을 언급하지 않은 서술 방식이 실제 기여를 과장해 보이게 만든다.
• 그럼에도 리뷰어는 기법 자체를 나쁘게만 보지 않는다. 모델의 한 부분만 골라 키우는 유연한 방법이자, 트랜스포머를 이해하고 실험의 폭을 넓히는 관점으로는 쓸모가 있다고 평가한다.

자주 묻는 질문

관련 AI 소식