자기지도학습과 JEPA: AI가 라벨 없이 세계 모델을 배우는 원리

핵심 메시지

• 자기지도학습의 최대 난관은 두 표현을 억지로 일치시킬 때 모든 출력이 상수로 뭉개지는 "표현 붕괴"이며, 대부분의 기법은 이 붕괴를 피하는 서로 다른 장치다.
• 대조학습은 같은 대상(양성)은 당기고 다른 대상(음성)은 밀어내며, MoCo는 큐와 모멘텀 인코더로 대량의 음성 샘플을 일관되게 유지하고 SimCLR는 강한 데이터 증강과 투영 헤드로 성능을 끌어올린다.
• BYOL·DINO는 음성 샘플 없이도 느리게 갱신되는 교사 네트워크와 스톱그래디언트 같은 비대칭 장치로 붕괴를 막는다.
• JEPA는 픽셀을 복원하는 생성 방식과 뷰를 맞추는 대조 방식의 중간으로, 임베딩 공간에서 빠진 부분을 예측해 불필요한 세부 복원을 피하면서 의미 있는 표현을 학습한다.
• V-JEPA를 행동 조건 세계 모델로 확장하면 로봇이 미래 임베딩을 예측하며 계획을 세울 수 있고, LeJEPA는 약 1500만 파라미터로 GPU 한 대에서 학습될 만큼 가볍다.

쉽게 이해하기

영상은 무작위 점으로 이뤄진 스테레오그램에서 뇌가 3D 형태를 읽어내는 현상으로 시작한다. 정답 깊이 라벨이 없어도 두 시점(뷰)의 관계만으로 표현을 배울 수 있느냐는 질문이 자기지도학습의 출발점이다. 두 네트워크의 출력을 일치시키도록 학습하면 공통된 신호를 뽑아낼 수 있지만, 곧바로 함정에 빠진다.

그 함정이 표현 붕괴다. 두 출력을 가장 쉽게 일치시키는 방법은 입력과 무관하게 항상 같은 값을 내는 것이라, 손실은 줄지만 아무것도 배우지 못한다. 초기 해법인 IMAX는 공유 신호의 분산은 키우고 불일치 분산은 줄여 상호정보를 최대화하는 방식으로 붕괴를 피했지만, 가우시안 가정 같은 강한 전제에 의존했다.

이후 대조학습이 등장한다. 양성 쌍은 당기고 음성 쌍은 밀되, 힌지 손실·삼중항 손실로 무한정 밀리는 문제를 막고, InfoNCE 손실로 다수의 음성 중 진짜 짝을 골라내는 분류 문제로 바꾼다. MoCo는 메모리 뱅크의 오래된 표현이 어긋나는 문제를 모멘텀 인코더와 선입선출 큐로 해결해, 미니배치 크기와 무관하게 큰 음성 사전을 유지한다. SimCLR는 강한 증강 조합과 학습형 투영 헤드가 핵심이며, MoCo v2는 이 장점을 큐에 접목해 거대한 배치 없이도 좋은 성능을 낸다.

다음 흐름은 음성 없이 배우는 증류 계열이다. BYOL은 학생이 느리게 움직이는 교사의 표현을 예측하되, 모멘텀 갱신·스톱그래디언트·학생에게만 있는 예측 헤드라는 비대칭으로 붕괴를 막는다. DINO는 교사 출력을 소프트맥스 분포로 바꾸고 센터링과 온도로 균형을 잡으며, 전역·지역 크롭을 함께 써 부분만 보여도 대상을 인식하도록 만든다. 한편 마스크드 오토인코더(MAE)는 이미지 패치 대부분을 가리고 복원시키는데, 복원 과제 특성상 붕괴 위험이 작다.

JEPA는 이 둘의 절충이다. 픽셀을 그대로 복원하지 않고, 문맥과 "무엇을 예측할지"를 지정하는 변수와 함께 빠진 블록의 임베딩을 예측한다. 이미지용 I-JEPA, 영상용 V-JEPA로 확장되며, V-JEPA를 행동 조건 세계 모델로 만들면 현재 프레임 임베딩에서 후보 행동 시퀀스를 굴려 목표에 가까운 계획을 교차엔트로피법(MPC)으로 탐색한다. 붕괴 방지는 화이트닝, 발로 트윈스, VICReg, SIGReg 같은 중복 제거 정규화로도 접근하며, JEPA와 SIGReg를 합친 LeJEPA는 두 개의 손실만으로 가벼운 세계 모델을 학습한다.

주요 인사이트

• 서로 다른 자기지도학습 기법을 관통하는 하나의 질문은 "어떻게 표현 붕괴를 막느냐"이며, 음성 샘플·비대칭·중복 제거 정규화는 모두 그 답의 변주다.
• 음성 샘플은 강력하지만 비용이 크다. BYOL·DINO는 음성 없이도 비대칭 설계만으로 붕괴를 피할 수 있음을 보여 이 비용을 덜어냈다.
• 픽셀 복원(생성형)은 세부를 잡지만 무관한 노이즈 복원에 용량을 낭비할 수 있고, 임베딩 매칭(결합 임베딩)은 추상적 표현을 얻지만 증강 설계에 의존한다. JEPA는 예측 과제를 표현 공간으로 옮겨 둘의 장점을 취한다.
• 표현 공간에서 예측하는 아이디어는 인식·질의응답을 넘어 행동 계획으로 확장되어, 학습된 잠재 동역학 모델 위에서 로봇 계획까지 가능하게 한다.
• 세계 모델이 반드시 거대할 필요는 없다. LeJEPA는 약 1500만 파라미터로 GPU 한 대에서 몇 시간 만에 학습되고 기존 방식보다 훨씬 빠르게 계획한다는 점에서, 효율적 세계 모델의 가능성을 시사한다.

자주 묻는 질문

관련 AI 소식