리치 서튼 인터뷰 정리: 강화학습의 역사와 시간차 학습, 표현 학습이라는 미해결 과제
2024년 튜링상을 받은 리치 서튼이 강화학습이 어떻게 시작됐는지, 시간차 학습의 착상은 어디서 왔는지, 딥러닝이 아직 풀지 못한 표현 학습 문제가 무엇인지를 톰 미첼과의 대담에서 차례로 짚어 나간다.
핵심 내용 읽기 →
AI TOPIC
표현 학습 최신 뉴스와 핵심 해설
표현 학습 관련 핵심 뉴스와 활용 인사이트 19편을 최신순으로 모았습니다.
JEPA 완전 해설: 픽셀 복원 대신 임베딩을 예측하는 자기지도학습 구조와 표현 붕괴 방지 원리
가려진 픽셀을 복원하도록 배운 모델이 뿌옇게 뭉개진 결과를 내놓는 것은 손실 함수의 정확한 최적해다. JEPA가 예측 대상을 픽셀에서 표현으로 옮긴 이유와 표현 붕괴를 막는 장치, 그리고 실측으로 확인된 성능 차이까지 정리했다.
핵심 내용 읽기 →
잠재변수 모델과 VAE 입문: 표현 학습부터 ELBO와 변분추론까지 한 번에 정리
코넬대 CS 6785 심층 생성모델 강의가 설명하는 잠재변수 모델의 원리를 정리했다. 라벨 없이 데이터의 숨은 특징을 찾아내는 표현 학습, 계산이 불가능한 확률을 ELBO라는 하한으로 우회하는 변분추론의 뼈대를 짚는다.
핵심 내용 읽기 →
MoCo 논문 리뷰, 대조 학습을 사전 탐색으로 바꾼 큐와 모멘텀 인코더 원리 정리
라벨 없는 이미지 학습을 사전 탐색 문제로 다시 본 MoCo 논문 리뷰입니다. 큐로 사전 크기를 키우고 모멘텀 인코더로 키 표현의 일관성을 지키는 원리, 그리고 지도학습 사전학습과 비교한 전이 실험 결과를 한국어로 정리했습니다.
핵심 내용 읽기 →
MAE 논문 리뷰 정리 — 마스크드 오토인코더가 이미지의 75%를 가리고 학습하는 이유와 설계 선택
논문익는마을의 Masked Autoencoders Are Scalable Vision Learners 리뷰를 정리했다. 마스킹 비율 75%, 마스크 토큰을 인코더에서 뺀 비대칭 구조, 패치별 정규화 타깃 등 실험으로 결정된 설계를 짚는다.
핵심 내용 읽기 →
딥러닝 이론의 열린 질문들 — 표현의 수렴, 모듈성, 사고 과정 감독에 대한 MIT 패널 토론
MIT 뇌·마음·기계 센터 패널이 학습 이론의 미해결 문제를 논한다. 서로 다른 모델이 같은 표현으로 수렴하는 현상, 범주를 담는 다양체의 기하학, 생물학의 모듈성, 과정 감독의 효율과 뇌의 학습 규칙 문제를 다룬다.
핵심 내용 읽기 →
AI의 물리학: 언어 데이터에 숨은 대칭 구조가 언어모델 단어 표현의 기하를 결정하는 이유
딥마인드 연구자가 스탠퍼드 물리학·AI 학회에서 발표한 'AI의 물리학' 강연 정리. 단어 동시출현 통계에 숨은 속성의 독립성과 병진 대칭이 언어모델 내부 표현의 선형성과 감기는 기하를 만든다고 설명한다.
핵심 내용 읽기 →
CLIP 원리와 제로샷 분류: 버클리 CS 198-126 강의로 이해하는 멀티모달 표현 학습
이미지와 캡션을 같은 잠재 공간에 맞추는 CLIP의 대조 학습 방식, 미세조정 없이 분류가 되는 제로샷 예측의 원리, 그리고 사진으로 배운 모델이 스케치 앞에서 무너지는 분포 변화 문제를 버클리 학부 강의로 정리했다.
핵심 내용 읽기 →
ICML 2026 논문 해설 — 등변 표현 학습의 잠재 공간 어긋남을 플로우 매칭으로 보정하기
이미지를 돌려 인코딩한 결과와 잠재 공간에서 돌린 결과는 이론과 달리 잘 맞지 않는다. ICML 2026에서 발표된 논문이 이 어긋남을 메우려고 제안한 잔차 흐름 보정 방식과 벤치마크 실험 결과를 한국어로 정리했다.
핵심 내용 읽기 →
대조 학습 실습 정리: 라벨 없이 3D 포인트 클라우드 표현 학습하기 (파이토치)
정답 라벨 없이 같은 물체의 두 변형을 가깝게 배치하도록 학습시키는 대조 학습을 3D 점군 데이터에 적용한 실습 강의. 증강 설계와 모델 구조 선택, 배치 크기가 결과에 미치는 영향을 차례로 짚는다.
핵심 내용 읽기 →
RGCN·CompGCN으로 배우는 지식그래프 표현학습 - 서울대 DSBA 세미나 정리
서울대 DSBA 연구실 세미나가 지식그래프에 그래프 신경망을 적용한 RGCN과 CompGCN을 비교했다. 관계 유형과 방향을 메시지 전달에 반영하는 방법과 파라미터 폭증을 줄이는 분해 기법을 짚는다.
핵심 내용 읽기 →
그래프 신경망 자기지도학습 정리 - 오토인코더 복원·그래프 기술자 예측·대조학습 세 가지 방식 비교
라벨 없는 그래프로 그래프 신경망을 학습시키는 방법을 오토인코더 복원, 그래프 기술자 예측, 대조학습 세 갈래로 정리했다. 분자 데이터 사전학습이 늘 이득은 아니라는 연구와 유사성 가정의 함정까지 함께 짚는다.
핵심 내용 읽기 →
대조 학습이란: 라벨 없는 데이터로 표현을 배우는 SimCLR·CLIP과 손실 함수 정리
정답 라벨이 없어도 쓸모 있는 표현을 배우는 대조 학습의 원리를 정리했다. 데이터 증강으로 양성 쌍을 만드는 방식부터 SimCLR과 CLIP, 그리고 트리플렛 손실과 NT-Xent 같은 손실 함수까지 짚는다.
핵심 내용 읽기 →
비지도 도메인 일반화 정리: 도메인 불변 표현 학습과 대조학습·마스킹 복원 방법론
병원마다 다른 촬영 장비와 시약처럼 데이터 분포가 달라지면 모델 성능은 쉽게 무너진다. 라벨 없는 데이터로 도메인 불변 표현을 학습하는 두 가지 방법론을 DMQA 연구실 공개 세미나 발표를 통해 정리했다.
핵심 내용 읽기 →
REPA 논문 해설: 확산 트랜스포머 학습을 17배 앞당긴 표현 정렬 손실 항의 원리
확산 트랜스포머에 사전학습 모델의 표현을 따라가게 하는 손실 항 하나를 더한 REPA 기법이 학습 속도와 이미지 이해 능력을 동시에 끌어올린 원리를 짚었다. 40만 스텝으로 700만 스텝의 성능을 넘어선 실험 결과도 함께 살폈다.
핵심 내용 읽기 →
트랜스포머 내부 표현의 기하학과 해석가능성 — 심플렉스 애덤 샤이의 FAR.AI 강연 정리
FAR.AI 강연에서 심플렉스의 애덤 샤이가 다음 토큰 예측 학습이 트랜스포머 내부에 어떤 기하학적 믿음 구조를 만드는지 설명했다. 합성 데이터 실험에서 예측된 프랙탈 구조가 잔차 스트림에서 확인됐고, 표현이 직교 부분공간으로 분해되는 경향도 관찰됐다.
핵심 내용 읽기 →
DINO·DINOv3 자기지도학습 원리: 라벨 없이 이미지 특징을 배우는 학생-교사 구조와 그램 앵커링까지
사람이 붙인 라벨 없이 이미지만으로 특징을 학습하는 자기지도학습의 원리를, CLIP과 SimCLR부터 DINO·DINOv2·DINOv3의 학생-교사 구조와 센터링·멀티크롭·그램 앵커링까지 단계별로 쉽게 설명합니다.
핵심 내용 읽기 →
자기지도학습과 JEPA: AI가 라벨 없이 세계 모델을 배우는 원리
정답 라벨 없이 AI가 세계를 이해하는 자기지도학습의 흐름을 대조학습, MoCo·SimCLR, BYOL·DINO, 마스크드 오토인코더, 그리고 임베딩 공간에서 예측하는 JEPA까지 한눈에 정리했다.
핵심 내용 읽기 →
대조 학습과 SimCLR: 라벨 없이 이미지 표현을 배우는 자기지도 학습의 핵심 원리
인터넷에 이미지는 넘치지만 라벨을 붙이는 일은 비싸다. 자기지도 학습의 한 갈래인 대조 학습은 비슷한 이미지는 가깝게, 다른 이미지는 멀게 표현을 배우며, SimCLR는 라벨 없이도 지도학습에 근접한 성능을 낸다.
핵심 내용 읽기 →