JEPA 완전 해설: 픽셀 복원 대신 임베딩을 예측하는 자기지도학습 구조와 표현 붕괴 방지 원리

핵심 메시지

• 제곱 오차 손실에서 최적의 예측은 가능한 모든 정답의 평균이므로, 픽셀 복원 모델의 흐릿함은 실패가 아니라 우리가 적어 넣은 목표의 정확한 최적해다.
• 기대 오차를 두 항으로 쪼개면 하나는 모델을 키워 0으로 몰 수 있지만, 보이는 부분이 가려진 부분을 결정하지 못해 생기는 분산은 어떤 용량으로도 줄지 않는다.
• JEPA는 비교가 일어나는 지점을 픽셀에서 표현으로 옮긴다. 표현은 세부를 생략할 수 있어서, 손실에 도달하는 불일치의 크기 자체가 줄어든다.
• 인코더가 모든 입력에 같은 벡터를 내놓는 표현 붕괴는 손실의 전역 최소값이라, I-JEPA는 타깃 인코더를 그래디언트에서 끊고 이동평균으로만 갱신해 그 경로를 막는다.
• 같은 아키텍처에서 예측 대상만 픽셀에서 표현으로 바꾸자 라벨 1%짜리 선형 프로브 정확도가 41%에서 67%로 올랐다.

쉽게 이해하기

이미지의 일부를 지우고 그 부분을 복원하게 하는 학습법은 정답표가 공짜라는 점에서 자기지도학습의 표준 레시피가 됐다. 아무도 라벨을 붙이지 않은 사진 더미가 비용 없이 지도학습 문제로 바뀌기 때문이다. 그런데 이렇게 학습한 모델에 가려진 칸을 채우게 하면 결과는 언제나 부드럽게 뭉개져 나온다. 영상은 이것이 모델이 작아서도 학습이 짧아서도 아니라고 말한다.

단어를 가리는 경우 모델은 어휘 전체에 확률을 펼치는 방식으로 '확신이 없다'고 말할 수 있지만, 픽셀 거리로 채점할 때는 그럴 방법이 없다. 가려진 칸이 손글씨 3일 수도 8일 수도 있고 나머지 부분이 어느 쪽도 편들지 않는다고 해보자. 제곱 오차를 가장 낮추는 출력은 3도 8도 아닌 둘을 픽셀 단위로 평균 낸 형태, 즉 3의 곡선 위에 8의 고리가 희미하게 얹힌 그림이다. 3에 확실히 걸었다가 절반을 통째로 틀리면 비용이 정확히 두 배가 되므로, 학습 데이터에 한 번도 등장한 적 없는 이 겹친 형태가 정답 대접을 받는다.

기대 제곱 오차는 예측이 그 평균에서 얼마나 떨어져 있는지와, 가능한 정답들이 그 평균 주위로 얼마나 퍼져 있는지 두 항으로 갈라진다. 앞의 항은 모델을 키우고 데이터를 늘리면 실제로 0에 가까워지지만 뒤의 항은 꿈쩍도 하지 않는다. 그것은 모델에 관한 사실이 아니라 보이는 부분이 가려진 부분을 얼마나 결정하지 못하는가에 관한 사실이기 때문이다. 게다가 잔디를 잔디답게 뭉개려면 질감 통계를 익혀야 하고 매 스텝 그것으로 채점받으므로, 모델은 용량을 질감 추적에 써버리게 된다.

JEPA의 선택은 모델을 고치는 대신 비교 지점을 옮기는 것이다. 맥락 인코더가 보이는 부분을 벡터로 만들고, 타깃 인코더는 이미지 전체를 읽어 가려진 영역이 놓인 자리의 출력을 정답으로 삼으며, 예측기가 그 사이를 잇는다. 타깃을 인코더의 입력이 아니라 출력에서 가려낸다는 순서가 핵심인데, 그래야 정답 벡터가 국소 질감이 아니라 의미를 담는다. 표현이 세부를 생략해도 된다는 점이 결정적이어서, 영상은 서로 다른 사람이 쓴 3 두 개의 픽셀 거리가 18인데 3과 8 사이 거리는 14라는 예로 픽셀 거리가 그림의 의미를 재는 자가 아님을 보여준다.

대신 새로운 함정이 생긴다. 인코더가 입력을 무시하고 늘 같은 벡터를 내놓고 예측기가 그대로 통과시키면 거리가 어디서나 0이 되어 학습이 끝나는데, 이 붕괴는 버그가 아니라 우리가 적은 손실의 전역 최소값이다. I-JEPA는 타깃 인코더를 그래디언트에서 잘라내고 맥락 인코더의 이동평균으로만 천천히 따라가게 해 이 해로 가는 배선을 끊고, 예측기에는 '어느 자리를 묻는가'만 담은 최소한의 추가 입력을 준다. 같은 조건에서 예측 대상만 바꾼 실험에서 표현 예측은 67%, 픽셀 예측은 300에폭을 더 돌리고도 41%였고 사전학습 비용은 같은 크기의 마스크 오토인코더보다 10배 이상 저렴했다. 다만 생성 능력을 구조적으로 포기하고, 물체를 세는 것 같은 저수준 과제에서는 픽셀 모델이 다시 앞선다.

주요 인사이트

• 흐릿함을 용량 문제로 오해하면 파라미터만 늘리게 되지만, 원인이 목적함수에 있다면 모델을 아무리 키워도 사라지지 않는다.
• 3과 8 사이의 진짜 모호함은 표현 공간에서도 남는다. 달라지는 것은 그 망설임이 수천 픽셀 폭이 아니라 한 갈래의 선택으로 줄어든다는 점이다.
• 붕괴 방지 장치의 근거는 아직 가설에 가깝다. 논문들도 바람직하지 않은 평형이 존재한다는 사실 자체는 부정하지 않고 수렴하는 것을 관측하지 못했다고만 말한다.
• 대조학습과 VICReg은 같은 문제를 배선 대신 손실과 페널티에 담아 푼다. 르쿤은 VICReg이 성분에 대해 대조적이고 전통적 방식은 벡터에 대해 대조적이라고 정리한다.
• 마스킹 설계 자체가 성능을 좌우한다. 블록 네 개 대신 하나만 예측하게 하면 선형 프로브 정확도가 54%에서 9%로 무너졌다.

자주 묻는 질문

관련 AI 소식