JEPA 완전 해설: 픽셀 복원 대신 임베딩을 예측하는 자기지도학습 구조와 표현 붕괴 방지 원리
가려진 픽셀을 복원하도록 배운 모델이 뿌옇게 뭉개진 결과를 내놓는 것은 손실 함수의 정확한 최적해다. JEPA가 예측 대상을 픽셀에서 표현으로 옮긴 이유와 표현 붕괴를 막는 장치, 그리고 실측으로 확인된 성능 차이까지 정리했다.
핵심 내용 읽기 →
AI TOPIC
자기지도 학습 최신 뉴스와 핵심 해설
자기지도 학습 관련 핵심 뉴스와 활용 인사이트 22편을 최신순으로 모았습니다.
BERT 구조와 사전학습 방식 정리 — 마스킹 예측과 다음 문장 예측이 만든 자연어처리 전이학습
찰머스 공과대학 딥러닝 강의가 BERT를 정리한 회차다. 컴퓨터 비전보다 몇 해 늦게 열린 자연어처리 전이학습의 배경과, 마스킹 예측·다음 문장 예측이라는 두 사전학습 과제의 작동 방식, 그리고 미세조정이 빠른 이유를 짚는다.
핵심 내용 읽기 →
BEiT 논문 리뷰 정리: 마스크 이미지 모델링과 비주얼 토큰, 자기지도학습 논쟁까지
이미지 트랜스포머에 BERT식 사전학습을 이식한 BEiT를 다룬 국내 논문 리뷰 세미나 내용을 정리했다. 비주얼 토큰과 블록 단위 마스킹의 설계 의도, 그리고 성능 향상의 공을 어디에 돌려야 하는지에 대한 토론까지 담았다.
핵심 내용 읽기 →
MoCo 논문 리뷰, 대조 학습을 사전 탐색으로 바꾼 큐와 모멘텀 인코더 원리 정리
라벨 없는 이미지 학습을 사전 탐색 문제로 다시 본 MoCo 논문 리뷰입니다. 큐로 사전 크기를 키우고 모멘텀 인코더로 키 표현의 일관성을 지키는 원리, 그리고 지도학습 사전학습과 비교한 전이 실험 결과를 한국어로 정리했습니다.
핵심 내용 읽기 →
MAE 논문 리뷰 정리 — 마스크드 오토인코더가 이미지의 75%를 가리고 학습하는 이유와 설계 선택
논문익는마을의 Masked Autoencoders Are Scalable Vision Learners 리뷰를 정리했다. 마스킹 비율 75%, 마스크 토큰을 인코더에서 뺀 비대칭 구조, 패치별 정규화 타깃 등 실험으로 결정된 설계를 짚는다.
핵심 내용 읽기 →
비전 트랜스포머(ViT) 강의 정리: 이미지를 패치 토큰으로 자르는 이유와 CNN의 귀납 편향을 포기해 얻는 것
버클리 컴퓨터 비전 강의가 픽셀을 그대로 토큰으로 쓰던 초기 시도부터 이미지를 16x16 패치로 자르는 방식까지 설명한다. 합성곱 신경망의 귀납 편향을 버린 대가로 훨씬 많은 데이터가 필요해지는 맞바꿈을 짚는다.
핵심 내용 읽기 →
시각 AI 인간 정렬 문제: 이미지넷 정확도가 오를수록 사람의 시선과 멀어지는 딥러닝 모델
브라운대 토마스 세르의 MIT CBMM 강연 정리. 이미지넷 정확도가 사람을 넘어선 뒤부터 모델이 보는 곳과 사람이 보는 곳이 어긋났고, 심리물리 데이터를 함께 학습시키는 하모나이제이션과 영상 기반 자기지도학습이 해법으로 제시됐다.
핵심 내용 읽기 →
DINOv2·DINOv3 정리: 자기지도 학습 비전 파운데이션 모델과 그램 앵커링의 역할
정답 레이블 없이 학습하는 비전 파운데이션 모델 DINO 시리즈를 다룬 국내 대학 세미나입니다. DINOv2의 데이터 큐레이션과 손실 설계부터, 모델을 키울수록 조밀 특징이 무너지던 문제와 DINOv3의 그램 앵커링까지 짚습니다.
핵심 내용 읽기 →
대조 학습 실습 정리: 라벨 없이 3D 포인트 클라우드 표현 학습하기 (파이토치)
정답 라벨 없이 같은 물체의 두 변형을 가깝게 배치하도록 학습시키는 대조 학습을 3D 점군 데이터에 적용한 실습 강의. 증강 설계와 모델 구조 선택, 배치 크기가 결과에 미치는 영향을 차례로 짚는다.
핵심 내용 읽기 →
그래프 신경망 자기지도학습 정리 - 오토인코더 복원·그래프 기술자 예측·대조학습 세 가지 방식 비교
라벨 없는 그래프로 그래프 신경망을 학습시키는 방법을 오토인코더 복원, 그래프 기술자 예측, 대조학습 세 갈래로 정리했다. 분자 데이터 사전학습이 늘 이득은 아니라는 연구와 유사성 가정의 함정까지 함께 짚는다.
핵심 내용 읽기 →
대조 학습이란: 라벨 없는 데이터로 표현을 배우는 SimCLR·CLIP과 손실 함수 정리
정답 라벨이 없어도 쓸모 있는 표현을 배우는 대조 학습의 원리를 정리했다. 데이터 증강으로 양성 쌍을 만드는 방식부터 SimCLR과 CLIP, 그리고 트리플렛 손실과 NT-Xent 같은 손실 함수까지 짚는다.
핵심 내용 읽기 →
얀 르쿤 JEPA 월드 모델 — LLM의 한계와 자기지도학습 대안 해설
딥러닝 선구자 얀 르쿤이 생성형 LLM이 아닌 '월드 모델'에 10억 달러를 투자한 배경과, 그가 제안한 JEPA(공동 임베딩 예측 구조)가 기존 방식과 무엇이 다른지 자막을 바탕으로 정리했다.
핵심 내용 읽기 →
얀 르쿤 JEPA·월드 모델 강연 정리: LLM의 한계와 자기지도학습이 향하는 다음 단계
메타 수석과학자 얀 르쿤이 하버드 CMSA 강연에서 현재 LLM의 한계를 짚고, 픽셀 대신 표현 공간에서 예측하는 JEPA와 월드 모델, 에너지 기반 추론을 대안으로 제시합니다.
핵심 내용 읽기 →
딥스테레오(DeepStereo): 사진 몇 장으로 새로운 시점의 3D 공간을 합성하는 구글의 딥러닝 기술
구글 연구진의 딥스테레오는 명시적 3D 기하 모델링을 버리고, 평면 스윕 볼륨과 두 개의 신경망 타워로 사진에 없던 시점의 픽셀을 직접 예측한다. 스트리트뷰로 라벨 없이 학습한 원리를 쉽게 풀어본다.
핵심 내용 읽기 →
DINOv3 논문 해설: 라벨 없는 컴퓨터 비전 파운데이션 모델과 그램 앵커링
메타 AI의 DINOv3는 라벨 없이 17억 장 이미지로 학습한 70억 파라미터 비전 파운데이션 모델이다. 자기지도 학습 구조와 밀집 예측 성능을 지켜낸 그램 앵커링을 해설한다.
핵심 내용 읽기 →
얀 르쿤 월드 모델 강연 정리 — JEPA와 다음 AI 혁명
얀 르쿤이 ETH 취리히 강연에서 LLM의 한계를 짚고, 관찰로 세상을 배우는 '월드 모델'과 JEPA 구조가 왜 다음 AI 혁명의 열쇠인지 설명한다.
핵심 내용 읽기 →
DINO·DINOv3 자기지도학습 원리: 라벨 없이 이미지 특징을 배우는 학생-교사 구조와 그램 앵커링까지
사람이 붙인 라벨 없이 이미지만으로 특징을 학습하는 자기지도학습의 원리를, CLIP과 SimCLR부터 DINO·DINOv2·DINOv3의 학생-교사 구조와 센터링·멀티크롭·그램 앵커링까지 단계별로 쉽게 설명합니다.
핵심 내용 읽기 →
자기지도학습과 JEPA: AI가 라벨 없이 세계 모델을 배우는 원리
정답 라벨 없이 AI가 세계를 이해하는 자기지도학습의 흐름을 대조학습, MoCo·SimCLR, BYOL·DINO, 마스크드 오토인코더, 그리고 임베딩 공간에서 예측하는 JEPA까지 한눈에 정리했다.
핵심 내용 읽기 →
JEPA 쉽게 이해하기: 얀 르쿤의 세계 모델과 잠재 공간 표현 예측 아키텍처 완전 정리
얀 르쿤이 밀고 있는 JEPA(공동 임베딩 예측 아키텍처)의 핵심을 쉽게 풀이합니다. 픽셀 대신 잠재 공간에서 표현을 예측하는 원리, 표현 붕괴 문제와 해법(EMA·LeJepa), 세계 모델과 의료 영상 활용까지 정리했습니다.
핵심 내용 읽기 →
DINO 자기지도학습 원리 — 비전 트랜스포머를 라벨 없이 훈련하기
DINO는 라벨 없는 이미지만으로 비전 트랜스포머를 학습시키는 자기지도학습 기법이다. 학생-교사 구조, 멀티크롭, 온도 소프트맥스와 센터링으로 객체 분할 능력이 저절로 나타나는 과정을 정리했다.
핵심 내용 읽기 →
컴퓨터 비전이 어려운 이유 — 데이터, 자기지도학습, 그리고 일반화의 벽
인간에겐 너무 자연스러운 '보기'가 컴퓨터에겐 왜 난제인가. 데이터의 중요성, 지도학습과 자기지도학습, 그리고 새로운 상황에 적응하는 문제까지 정리했다.
핵심 내용 읽기 →
대조 학습과 SimCLR: 라벨 없이 이미지 표현을 배우는 자기지도 학습의 핵심 원리
인터넷에 이미지는 넘치지만 라벨을 붙이는 일은 비싸다. 자기지도 학습의 한 갈래인 대조 학습은 비슷한 이미지는 가깝게, 다른 이미지는 멀게 표현을 배우며, SimCLR는 라벨 없이도 지도학습에 근접한 성능을 낸다.
핵심 내용 읽기 →