AI VIDEO BRIEFING

REPA 논문 해설: 확산 트랜스포머 학습을 17배 앞당긴 표현 정렬 손실 항의 원리

확산 트랜스포머에 사전학습 모델의 표현을 따라가게 하는 손실 항 하나를 더한 REPA 기법이 학습 속도와 이미지 이해 능력을 동시에 끌어올린 원리를 짚었다. 40만 스텝으로 700만 스텝의 성능을 넘어선 실험 결과도 함께 살폈다.

출처: AI Coffee Break with Letitia2024년 12월 8일AI 보조 요약

확산 모델이 DINOv2의 표현을 빌리자 학습이 17배 빨라졌다 영상 대표 이미지

핵심 메시지

확산 모델은 노이즈에서 이미지를 복원하도록 학습해 세부 픽셀은 잘 살리지만, 고양이인지 개인지 같은 추상적 특징을 다루는 능력은 상대적으로 약하다.
REPA는 확산 트랜스포머의 표현을 DINOv2 같은 사전학습 모델의 표현에 맞추도록 정규화 손실 항을 하나 더한 기법이다.
SiT-XL/2는 REPA를 적용하자 40만 스텝에서 FID 7.9를 기록했다. 같은 모델이 REPA 없이 700만 스텝을 돌려 얻은 8.3보다 좋은 값으로, 약 17.5배 빠른 셈이다.
이미지넷 선형 프로빙 분류 정확도는 52%에서 72%로 올라, 생성 외 과제에서도 표현 품질이 개선됐다.
발표자는 이 방식이 장기적인 해법인지, 아니면 확산 모델이 스스로 좋아지기 전까지의 임시 목발인지 열린 질문으로 남긴다.

쉽게 이해하기

확산 모델은 노이즈에서 이미지를 만들어 내는 데 탁월하지만, 그 내부 표현은 생성 외의 일에 잘 쓰이지 않는다는 약점이 있다. 이미지를 분류하거나 물체를 알아보는 과제에서 성능이 아예 없는 것은 아니지만, 같은 일을 하는 자기지도 학습 모델들에 비하면 확실히 떨어진다. 원인은 학습 목표에 있다. 노이즈가 낀 이미지를 깨끗하게 복원하도록 훈련하면 복원에 필요한 세부 정보는 모두 남지만, 추상적인 개념을 뽑아낼 이유가 없기 때문이다.

반대편에 있는 DINOv2 같은 모델은 목표 자체가 다르다. 같은 이미지를 다르게 자르거나 확대하거나 회전시킨 뒤 그것들을 같은 것으로 표현하도록 학습하는 대조 학습 방식이라, 픽셀 단위 차이를 무시하고 상위 개념에 집중할 수밖에 없다. REPA 논문의 착안점은 여기서 나온다. 이미 좋은 추상 표현을 가진 모델이 있는데, 확산 모델이 그 표현을 참고하게 하면 되지 않겠느냐는 것이다.

구현은 놀랄 만큼 단순하다. 연구진은 DiT와 SiT 같은 트랜스포머 기반 확산 모델을 이미지넷 256×256 해상도에서 학습시키되, 트랜스포머 앞쪽 여덟 개 층의 출력을 학습 가능한 다층 퍼셉트론에 통과시킨 뒤 DINOv2가 만든 최종 이미지 표현과의 코사인 유사도를 최대화하는 항을 손실 함수에 더했다. 기존 복원 손실은 그대로 두었기 때문에 이미지 생성 능력은 유지되고, 추가된 항이 내부 표현만 정렬해 준다.

결과는 두 방향에서 나타났다. 생성 품질에서는 SiT-XL/2가 40만 스텝 만에 FID 7.9에 도달했는데, 이는 REPA 없이 700만 스텝을 돌린 모델의 8.3보다 나은 값이다. DiT-XL/2도 같은 40만 스텝 기준으로 FID가 19.5에서 12.3으로 내려갔다. 이해 능력 쪽에서는 선형 프로빙으로 잰 이미지넷 분류 정확도가 52%에서 72%로 뛰었다. 정렬을 여덟 번째 층까지만 적용했기 때문에 분류 성능도 그 층 부근에서 정점을 찍고, 이후 층은 다시 생성에 집중한다.

영상은 답 대신 질문으로 끝난다. 다른 모델의 표현을 빌려 쓰는 방식이 오래 갈 접근인지, DINOv2 자체의 한계가 어느 시점부터 확산 모델의 발목을 잡을지, 혹은 생성 목표와 대조 학습 목표를 처음부터 함께 학습하는 방향으로 가는 첫걸음일 뿐인지가 그 질문들이다.

주요 인사이트

성능을 끌어올린 것이 새로운 아키텍처가 아니라 손실 함수에 더한 항 하나라는 점이 이 논문의 매력이다. 발표자도 '왜 내가 이 생각을 못 했을까' 싶은 단순한 아이디어라고 표현한다.
학습 목표가 모델이 무엇을 아는지를 결정한다. 복원을 시키면 세부를, 대조 학습을 시키면 개념을 배운다는 대비가 이 기법의 출발점이다.
정렬을 전체 층이 아니라 앞쪽 여덟 개 층에만 걸었다는 설계가 중요하다. 앞부분은 좋은 표현을 물려받고 뒷부분은 생성이라는 본래 목적에 집중하게 나눈 구조다.
학습 스텝을 17배 넘게 줄인다는 것은 곧 학습 비용의 문제다. 같은 품질을 훨씬 적은 계산으로 얻을 수 있다는 점에서 실용적 가치가 크다.
빌려 온 표현은 빌려준 쪽의 한계도 함께 물려받는다. 사전학습 모델이 못 보는 것은 그 표현을 따라가는 확산 모델도 보기 어렵다는 점이 이 접근의 구조적 약점이다.

자주 묻는 질문

REPA는 정확히 무엇을 바꾸는가?

모델 구조가 아니라 학습 목표를 바꾼다. 기존 복원 손실은 그대로 두고, 확산 트랜스포머 중간 층의 표현이 DINOv2 같은 사전학습 모델의 표현과 비슷해지도록 만드는 정규화 손실 항을 하나 더한다.

FID가 낮을수록 좋은 것인가?

그렇다. FID는 생성된 이미지가 실제 이미지와 얼마나 비슷한지를 재는 지표로, 값이 낮을수록 좋다. 영상에서 SiT-XL/2가 40만 스텝에서 기록한 7.9는 REPA 없이 700만 스텝을 학습한 8.3보다 나은 결과다.

생성 말고 다른 과제에서도 좋아졌나?

이미지넷 분류를 선형 프로빙으로 측정한 정확도가 52%에서 72%로 올랐다. 확산 모델의 내부 표현이 생성 외 과제에도 쓸 만해졌다는 뜻이다.

원문과 출처

이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.

YouTube 원본 영상 보기 ↗