MoCo 논문 리뷰, 대조 학습을 사전 탐색으로 바꾼 큐와 모멘텀 인코더 원리 정리
라벨 없는 이미지 학습을 사전 탐색 문제로 다시 본 MoCo 논문 리뷰입니다. 큐로 사전 크기를 키우고 모멘텀 인코더로 키 표현의 일관성을 지키는 원리, 그리고 지도학습 사전학습과 비교한 전이 실험 결과를 한국어로 정리했습니다.
핵심 내용 읽기 →
AI TOPIC
대조 학습 최신 뉴스와 핵심 해설
대조 학습 관련 핵심 뉴스와 활용 인사이트 14편을 최신순으로 모았습니다.
TCL 논문 리뷰: 비전-언어 사전학습에 모달리티 내부 대조와 지역 정보를 더한 이유
각각의 인코더로 정렬하던 방식에서 융합 전에 정렬하는 방식까지, 비전-언어 사전학습의 계보를 짚고 여기에 모달리티 내부 대조 학습과 지역 정보 상호정보량을 더한 TCL 논문을 국내 스터디 세미나 발표로 정리했다.
핵심 내용 읽기 →
대조 학습 실습 정리: 라벨 없이 3D 포인트 클라우드 표현 학습하기 (파이토치)
정답 라벨 없이 같은 물체의 두 변형을 가깝게 배치하도록 학습시키는 대조 학습을 3D 점군 데이터에 적용한 실습 강의. 증강 설계와 모델 구조 선택, 배치 크기가 결과에 미치는 영향을 차례로 짚는다.
핵심 내용 읽기 →
그래프 신경망 자기지도학습 정리 - 오토인코더 복원·그래프 기술자 예측·대조학습 세 가지 방식 비교
라벨 없는 그래프로 그래프 신경망을 학습시키는 방법을 오토인코더 복원, 그래프 기술자 예측, 대조학습 세 갈래로 정리했다. 분자 데이터 사전학습이 늘 이득은 아니라는 연구와 유사성 가정의 함정까지 함께 짚는다.
핵심 내용 읽기 →
대조 학습이란: 라벨 없는 데이터로 표현을 배우는 SimCLR·CLIP과 손실 함수 정리
정답 라벨이 없어도 쓸모 있는 표현을 배우는 대조 학습의 원리를 정리했다. 데이터 증강으로 양성 쌍을 만드는 방식부터 SimCLR과 CLIP, 그리고 트리플렛 손실과 NT-Xent 같은 손실 함수까지 짚는다.
핵심 내용 읽기 →
검색 AI 연구 두 갈래 — 하드 네거티브 배치 구성 HOBIT와 다중 문서 협력 검색 색인
마이크로소프트 리서치 인도 학술 서밋의 검색 세션 발표 두 편을 정리했다. 학습 배치를 어려운 오답으로 채우는 HOBIT와, 여러 문서가 협력해 하나의 질문을 함께 덮도록 집합 단위로 문서를 고르는 다중 벡터 색인 연구를 다룬다.
핵심 내용 읽기 →
비지도 도메인 일반화 정리: 도메인 불변 표현 학습과 대조학습·마스킹 복원 방법론
병원마다 다른 촬영 장비와 시약처럼 데이터 분포가 달라지면 모델 성능은 쉽게 무너진다. 라벨 없는 데이터로 도메인 불변 표현을 학습하는 두 가지 방법론을 DMQA 연구실 공개 세미나 발표를 통해 정리했다.
핵심 내용 읽기 →
임베딩·대조학습·시맨틱 검색과 RAG까지, 스탠퍼드 CS229 표현학습 강의 핵심 정리
스탠퍼드 CS229 강의가 이미지와 텍스트를 벡터로 바꾸는 임베딩 학습 원리를 설명한다. 라벨 없이 배우는 대조학습, 어려운 음성 쌍 찾기, 벡터 검색과 RAG까지 강의의 핵심 흐름을 차례로 정리했다.
핵심 내용 읽기 →
CLIP 원리 해설: 언어가 컴퓨터 비전을 바꾼 과정과 제로샷 이미지 분류의 등장
AlexNet에서 CLIP까지, 정답 라벨 대신 자연어 설명으로 학습하는 방식이 컴퓨터 비전을 어떻게 재편했는지 CodeEmporium의 해설 강의를 토대로 대조 학습과 제로샷 분류를 중심으로 정리했다.
핵심 내용 읽기 →
ImageBind 논문 리뷰: 이미지·텍스트·소리·깊이·열·센서를 하나의 임베딩 공간으로
메타 AI의 ImageBind는 이미지를 축으로 텍스트·오디오·깊이·열화상·IMU 등 6개 감각을 하나의 임베딩 공간에 묶는다. 짝지어진 데이터 없이도 감각끼리 연결되는 '창발' 능력과 그 원리를 한국어로 풀었다.
핵심 내용 읽기 →
자기지도학습과 JEPA: AI가 라벨 없이 세계 모델을 배우는 원리
정답 라벨 없이 AI가 세계를 이해하는 자기지도학습의 흐름을 대조학습, MoCo·SimCLR, BYOL·DINO, 마스크드 오토인코더, 그리고 임베딩 공간에서 예측하는 JEPA까지 한눈에 정리했다.
핵심 내용 읽기 →
파이토치로 비전-언어 모델(PaliGemma) 밑바닥부터 구현: 전체 해설
구글의 비전-언어 모델 PaliGemma를 파이토치로 처음부터 구현하는 심층 강의. 비전 트랜스포머와 대조 학습(CLIP·SigLIP), 이미지·텍스트 임베딩 결합, KV 캐시, 회전 위치 인코딩, 정규화까지 개념과 코드로 설명한다.
핵심 내용 읽기 →
레이블 노이즈 러닝 - ID·OOD 노이즈 구분과 RRL·DSOS 방법론 정리
현실 데이터에는 잘못 달린 레이블과 분포가 다른 OOD 데이터가 섞여 있다. ID·OOD 노이즈를 구분해 강건하게 학습하는 RRL과 DSOS 두 연구를 정리한다.
핵심 내용 읽기 →
대조 학습과 SimCLR: 라벨 없이 이미지 표현을 배우는 자기지도 학습의 핵심 원리
인터넷에 이미지는 넘치지만 라벨을 붙이는 일은 비싸다. 자기지도 학습의 한 갈래인 대조 학습은 비슷한 이미지는 가깝게, 다른 이미지는 멀게 표현을 배우며, SimCLR는 라벨 없이도 지도학습에 근접한 성능을 낸다.
핵심 내용 읽기 →