프리 트랜스포머(Free Transformer) 해설 — 잠재 변수와 VAE로 텍스트 생성 개선

핵심 메시지

• 일반 트랜스포머의 무작위성은 오직 마지막 토큰 샘플링 단계에만 있어, '좋은 리뷰/나쁜 리뷰' 같은 큰 방향이 중간 토큰 하나의 우연한 선택에 좌우된다.
• 프리 트랜스포머(Free Transformer)는 디코더 트랜스포머에 잠재 변수를 도입해, 생성 이전에 '이런 방향으로 쓰겠다'는 결정을 먼저 내리게 한다.
• 잠재 변수에 조건을 걸면 수식이 단순해지고, 이전 토큰들에서 방향을 역추론할 때보다 모델이 훨씬 쉽게 학습한다.
• 핵심 장치는 변분 오토인코더(VAE)를 트랜스포머 중간에 끼워 넣은 것으로, 학습 때 '미래를 훔쳐보는' 인코더가 잠재 변수를 만들어 디코더에게 넘긴다.
• 인코더로 흐르는 정보량을 적절히 제한하는 것이 관건이다 — 너무 적으면 효과가 없고, 너무 많으면 디코더가 아무것도 배우지 못한 채 답을 베낀다.

쉽게 이해하기

얀닉 킬처(Yannic Kilcher)가 메타(FAIR) 연구진의 논문 '프리 트랜스포머(The Free Transformer)'를 해설한다. 이 구조는 고전적인 디코더 기반 트랜스포머에 일련의 잠재 변수(latent variable)를 더해, 생성할 시퀀스에 대한 '밑바탕 결정'을 먼저 내릴 수 있게 한다.

논문이 드는 예는 영화 리뷰 생성이다. 좋은 영화라도 대개 좋은 리뷰가 많지만 일부는 나쁜 리뷰가 섞인다. 충분히 큰 트랜스포머는 이 비율을 학습하지만, 문제는 '어떻게' 그렇게 하느냐다. 일반 트랜스포머에서 무작위성은 오직 마지막 토큰 샘플링 단계에만 존재한다. 그래서 'This movie is ___' 다음에 good이 뽑히느냐 bad이 뽑히느냐 하는 중간 토큰 하나의 우연한 선택이 이후 글 전체의 방향을 결정하고, 나머지 토큰들은 그 선택과 앞뒤가 맞도록(self-consistent) 이어질 뿐이다.

프리 트랜스포머의 발상은, 글을 쓰기 전에 먼저 '좋은 리뷰를 쓰겠다'는 잠재적 결정을 내리고 이후 생성하는 모든 토큰이 그 결정을 참고하게 하자는 것이다. 이렇게 하면 수식이 단순해지고 일관성의 범위가 넓어진다. 실제로 강화학습에서 쓰이는 '추론(reasoning) 토큰'이 비슷한 역할을 하지만, 여기서는 명시적 토큰이 아니라 출력 토큰 샘플링이 떠맡던 선택을 잠재 변수로 옮긴다.

어려움은 학습 데이터에 이 잠재 변수(예: 영화가 좋다/나쁘다는 내적 결정)가 주어져 있지 않다는 점이다. 영상은 이 지점에서 변분 오토인코더(VAE)로 넘어간다. 선글라스 낀 고양이와 안 낀 고양이를 반반 생성하는 예처럼, 모델이 무작위 변수에 '주의를 기울이도록' 가르치는 것이 VAE의 본질이다. 그 방법은 이른바 '커닝'이다 — 학습 때 재구성(reconstruction)을 목표로 삼되, 정답을 미리 들여다보는 인코더가 잠재 변수 Z를 만들어 디코더에게 건넨다.

다만 인코더가 그냥 정답을 통째로 넘기지 못하도록, 전달 가능한 정보량을 강하게 제한하고(대역폭 축소), 인코더가 내놓는 Z의 분포를 추론 시 샘플링할 분포에 가깝게 정규화한다(KL 발산 항). 프리 트랜스포머는 이 VAE 블록을 트랜스포머의 중간에 하나만 얇게 넣어 디코더와 계산을 공유한다. 합성 데이터 실험은 정보량이 너무 적으면 잠재 변수가 무의미해지고, 너무 많으면 디코더가 학습 없이 답을 베껴 추론에서 무너지며, 그 중간에서만 모델이 실제로 잠재 구조를 학습함을 보여 준다.

주요 인사이트

• 트랜스포머의 '무작위성이 마지막 토큰 샘플링에만 있다'는 관찰이 이 논문 전체의 출발점이다 — 큰 방향 결정이 사소한 샘플링에 인질로 잡혀 있다는 문제의식이다.
• 잠재 변수에 조건을 걸면 오토회귀적으로 이전 토큰에서 방향을 역추론하는 것보다 수식과 학습이 훨씬 단순해진다. 복잡도를 낮추면 더 작은 모델로도 같은 일을 할 수 있다.
• VAE의 핵심은 '학습 때 미래를 훔쳐보는 인코더'로 디코더가 잠재 변수에 주의를 기울이게 만들고, 정보량 제한과 KL 정규화로 그 커닝을 통제하는 균형에 있다.
• 발표자는 이 구조가 코딩·수학처럼 잠재 구조가 뚜렷한 과제에서 강점을 보이지만, 지식·질의응답에서는 그렇지 않고 하이퍼파라미터 조율과 분포 불일치라는 대가가 있어 '차세대 대세'가 될지는 유보적이라고 본다.

자주 묻는 질문

관련 AI 소식