JEPA 쉽게 이해하기: 얀 르쿤의 세계 모델과 잠재 공간 표현 예측 아키텍처 완전 정리

핵심 메시지

• JEPA(공동 임베딩 예측 아키텍처)는 픽셀이나 토큰을 직접 예측하는 대신, 학습된 잠재 공간에서 '표현'을 예측하는 방식이다.
• 같은 장면을 다양한 방식으로 관찰한 여러 'view' 중 하나를 문맥으로, 다른 하나를 목표로 삼아 문맥 임베딩에서 목표 임베딩을 예측하도록 학습한다.
• 픽셀·토큰 예측은 무의미한 노이즈까지 맞춰야 하지만, 잠재 공간 예측은 view 사이에서 공유되는 안정적 구조만 학습한다.
• 가장 큰 난점은 모든 입력이 같은 임베딩으로 뭉개지는 '표현 붕괴'이며, EMA·대조 학습·LeJepa 같은 방법으로 이를 막는다.
• JEPA는 노이즈가 많은 이미지·영상, 특히 세계 모델과 의료 영상에서 유망하지만, 이미 의미가 압축된 언어(LLM)에는 이점이 크지 않다.

쉽게 이해하기

영상은 얀 르쿤이 'LLM은 한계가 있다'고 말하며 밀고 있는 JEPA(Joint Embedding Predictive Architecture)를 쉽게 풀어낸다. LLM이 다음 토큰을, 이미지 생성이 덜 노이즈한 이미지를 예측한다면, JEPA는 학습된 잠재 공간(latent space)에서 고차원 '표현(representation)'을 예측한다는 점이 다르다.

핵심 개념은 'view'다. view는 입력을 변형·마스킹하거나 일부만 관찰한 것으로, 의미상 같은 상태를 유지하면서 일부 정보만 가린다. 소파에 앉은 고양이 장면이라면 전체 이미지, 좌우 절반, 확대 크롭, 마스킹된 버전, 다른 카메라 각도, 영상의 다른 프레임이 모두 view이며 같은 '세계 상태'에 대응한다. 학습 때는 한 view를 문맥으로, 다른 view를 목표로 삼아 픽셀을 복원하거나 토큰을 예측하는 대신 문맥 임베딩에서 목표 임베딩을 예측한다.

이렇게 하는 이유는 픽셀이나 토큰을 직접 예측하면 배경 조명 변화처럼 의미 없는 노이즈까지 모두 맞춰야 하기 때문이다. view를 잠재 공간으로 압축하면 노이즈가 걸러지고 view 사이에서 공유되는 안정적 구조만 남는다. JEPA 학습 구성은 현재 문맥을 인코딩하는 context encoder, 목표 view를 인코딩하는 target encoder, 그리고 문맥 임베딩으로 목표 임베딩을 예측하는 predictor로 이뤄지며, 픽셀 복원 손실이나 토큰 크로스엔트로피 없이 오직 표현 공간의 정렬만을 목표로 삼는다. 추론 때는 target encoder 없이 학습된 context encoder를 특징 추출기로 쓴다.

활용은 크게 세 가지다. 첫째, 표현 추출로 분류·검색·유사도 탐색·파인튜닝에 쓰는 기반 표현 모델. 둘째, predictor를 결합해 미래 잠재 상태를 예측하는 세계 모델링으로, 비디오 JEPA는 픽셀 대신 미래 잠재 상태를 예측해 계산이 훨씬 저렴하다. 셋째, 로보틱스처럼 현재 상태 임베딩과 행동 임베딩을 함께 넣어 미래 상태를 예측하는 잠재 공간 계획인데, 픽셀을 만들지 않고 내부적으로 결과를 상상해 본 뒤 행동한다.

가장 큰 난제는 '표현 붕괴(representation collapse)'다. 두 인코더가 모든 입력에 대해 같은 상수 임베딩을 내보내면 손실은 극히 작아지지만 모델은 아무것도 배우지 못한다. 이를 막기 위해 초기에는 target encoder를 천천히 갱신하는 EMA(지수 이동 평균)를 썼고 I-JEPA·V-JEPA·DINO가 이를 활용했다. 다만 EMA는 손실 함수가 없는 휴리스틱 트릭이라, 이후 연구는 입력과 표현 사이 상호정보를 최대화하는 InfoMax 계열로 나아갔다. 대조 학습(SimCLR)은 같은 이미지의 두 view는 가깝게, 다른 이미지는 멀게 밀어내지만 많은 부정 표본이 필요하고, Barlow Twins·VICReg 같은 차원 대조 방식은 각 차원이 서로 다른 정보를 담도록 규제한다. 2025년 11월 공개된 르쿤의 LeJepa는 임베딩 공간을 등방성 가우시안 분포로 제약해, EMA 없이도 붕괴를 피하며 ImageNet에서 DINO에 견줄 정확도를 냈다고 소개된다.

그렇다면 왜 LLM에는 JEPA를 쓰지 않을까. JEPA는 예측할 수 없는 저수준 디테일이 많은 이미지·영상에서 유리한데, 텍스트는 이미 의미가 기호로 압축돼 노이즈가 적고 자기회귀식 다음 토큰 예측이 잘 작동하기 때문이다. 대신 영상은 노이즈가 많은 의료 영상에서의 가능성을 강조한다. 심초음파에 적용한 EchoJepa는 스펙클 노이즈·센서 아티팩트가 가득한 픽셀을 복원하는 대신, 심장 챔버 크기와 벽 운동 같은 안정적 해부학 신호를 표현으로 학습해 진단·측정에 더 유용하다는 것이다.

주요 인사이트

• JEPA의 발상은 '무엇이 정확히 이 픽셀인가'가 아니라 '무엇이 두 관찰을 함께 설명하는가'로 학습 목표를 옮기는 데 있다.
• 픽셀·토큰 예측이 노이즈까지 떠안는 문제를, 잠재 공간에서 안정적 구조만 예측하게 함으로써 우회한다.
• 표현 붕괴를 막는 방식의 진화(EMA → 대조·차원 규제 → LeJepa의 등방성 가우시안 제약)가 JEPA 연구의 중심 흐름이다.
• JEPA는 픽셀을 생성하지 않고도 세계를 시뮬레이션할 수 있어, 로보틱스 계획과 세계 모델에서 계산 효율의 이점이 크다.
• 언어처럼 이미 압축된 데이터보다, 노이즈가 많은 의료 영상 같은 실제 감각 데이터에서 JEPA의 강점이 두드러진다.

자주 묻는 질문

관련 AI 소식