EoMT 논문 리뷰: ViT 하나로 이미지 세그멘테이션, 어댑터와 픽셀 디코더를 걷어내다
대규모로 사전학습된 ViT는 어댑터와 픽셀 디코더 없이도 이미지 분할을 해낸다는 EoMT 논문을 정리했다. 구성 요소를 하나씩 걷어내며 속도는 약 4.4배 빨라지고 정확도 손실은 1.1 PQ에 그친 실험과 마스크 어닐링 기법까지 살펴본다.
핵심 내용 읽기 →
AI TOPIC
비전 트랜스포머 최신 뉴스와 핵심 해설
비전 트랜스포머 관련 핵심 뉴스와 활용 인사이트 16편을 최신순으로 모았습니다.
BEiT 논문 리뷰 정리: 마스크 이미지 모델링과 비주얼 토큰, 자기지도학습 논쟁까지
이미지 트랜스포머에 BERT식 사전학습을 이식한 BEiT를 다룬 국내 논문 리뷰 세미나 내용을 정리했다. 비주얼 토큰과 블록 단위 마스킹의 설계 의도, 그리고 성능 향상의 공을 어디에 돌려야 하는지에 대한 토론까지 담았다.
핵심 내용 읽기 →
MAE 논문 리뷰 정리 — 마스크드 오토인코더가 이미지의 75%를 가리고 학습하는 이유와 설계 선택
논문익는마을의 Masked Autoencoders Are Scalable Vision Learners 리뷰를 정리했다. 마스킹 비율 75%, 마스크 토큰을 인코더에서 뺀 비대칭 구조, 패치별 정규화 타깃 등 실험으로 결정된 설계를 짚는다.
핵심 내용 읽기 →
비전 트랜스포머(ViT) 강의 정리: 이미지를 패치 토큰으로 자르는 이유와 CNN의 귀납 편향을 포기해 얻는 것
버클리 컴퓨터 비전 강의가 픽셀을 그대로 토큰으로 쓰던 초기 시도부터 이미지를 16x16 패치로 자르는 방식까지 설명한다. 합성곱 신경망의 귀납 편향을 버린 대가로 훨씬 많은 데이터가 필요해지는 맞바꿈을 짚는다.
핵심 내용 읽기 →
비전 트랜스포머 스케일 문제 해설: Swin 트랜스포머와 RT-DETR가 작은 물체를 잡는 방법
16x16 고정 패치로는 작은 물체가 토큰 하나에 묻힌다. 계층적 Swin 트랜스포머와 특징 피라미드 네트워크, 그리고 CNN과 트랜스포머를 나눠 쓴 RT-DETR가 다중 스케일 객체 탐지를 어떻게 풀었는지 정리했다.
핵심 내용 읽기 →
스윈 트랜스포머 구조 해설: 이동 윈도 셀프어텐션과 계층적 텐서로 CNN 백본 대체하기
트랜스포머를 이미지에 그대로 쓰면 연산량이 입력 크기의 제곱으로 늘고 크기가 다른 물체에 약합니다. 스윈 트랜스포머가 윈도 단위 어텐션과 이동 윈도, 계층적 텐서로 이 두 한계를 어떻게 풀었는지 구조 단위로 정리했습니다.
핵심 내용 읽기 →
MIT 딥러닝 강의로 보는 트랜스포머 구조: 토큰과 어텐션, 위치 인코딩의 역할 정리
MIT 6.7960 딥러닝 강의는 트랜스포머를 토큰·어텐션·위치 인코딩 세 조각으로 나눠, 합성곱과 완전연결 신경망 사이에서 어텐션이 무엇을 다르게 하는지 설명한다. 순서를 모르는 구조에 왜 위치 정보가 필요한지도 짚는다.
핵심 내용 읽기 →
비전 트랜스포머(ViT) 작동 원리: 16×16 패치 임베딩과 위치 임베딩, CLS 토큰 분류까지
이미지를 16×16 패치로 잘라 트랜스포머에 넣는 비전 트랜스포머의 작동 순서를, 고양이 눈에 해당하는 패치 하나를 끝까지 추적하며 단계별로 풀어본다. 위치 임베딩과 CLS 토큰, CNN과의 차이까지 함께 짚는다.
핵심 내용 읽기 →
비전 트랜스포머(ViT) 작동 원리: 이미지 패치 분할, 위치 임베딩, 분류 토큰까지 정리
자연어 처리를 위해 만들어진 트랜스포머가 어떻게 이미지 인식에 쓰이게 됐는지 단계별로 정리했다. 이미지를 패치로 자르는 방법, 합성곱 층으로 벡터를 한 번에 만드는 요령, 위치 임베딩과 분류 토큰의 역할을 살펴본다.
핵심 내용 읽기 →
비전 트랜스포머(ViT) 구조 정리: 패치 임베딩과 CLS 토큰부터 CNN과의 차이까지
비전 트랜스포머는 이미지를 16×16 패치로 잘라 문장처럼 다루는 모델이다. 패치 임베딩과 CLS 토큰, 위치 임베딩이 하는 일과 CNN 대신 언제 써야 하는지, 확장 모델인 Swin과 DeiT의 차이까지 정리했다.
핵심 내용 읽기 →
멀티모달 LLM 작동 원리 정리: ViT와 CLIP부터 플라밍고, Q-Former, 오디오 이해까지
언어 모델이 사진과 영상, 소리를 이해하게 된 과정을 비전 트랜스포머와 CLIP, 플라밍고와 Q-Former, 오디오 모델까지 따라가며 모달리티마다 반복되는 세 단계 설계로 정리했다.
핵심 내용 읽기 →
딥드림과 CLIP로 만든 사이키델릭 이미지: 신경망 시각화 원리 해설
확산 모델 없이 딥드림과 CLIP만으로 이미지를 특정 개념 쪽으로 서서히 바꾸는 실험. 역전파·대조학습·어그멘테이션 원리를 쉽게 풀었다.
핵심 내용 읽기 →
비전 트랜스포머(ViT)란? CNN을 넘어선 이미지 인식 방식과 셀프 어텐션 원리 쉽게 정리
10년간 컴퓨터 비전을 지배한 CNN에 도전한 비전 트랜스포머(ViT)의 원리를 쉽게 정리했습니다. 이미지를 16×16 패치로 잘라 언어처럼 처리하는 셀프 어텐션과 88.55% 정확도, CLIP·SAM 응용까지 살펴봅니다.
핵심 내용 읽기 →
DeepSeek 비전 논문 해설: 바운딩 박스·점으로 시각 추론하는 멀티모달 모델
공개 4시간 만에 내려간 DeepSeek의 멀티모달 논문 'Thinking with Visual Primitives' 해설. 바운딩 박스와 점으로 이미지를 직접 가리키며 추론해 미로·경로 추적 벤치마크에서 비공개 모델을 앞선 방식을 정리했다.
핵심 내용 읽기 →
DINO 자기지도학습 원리 — 비전 트랜스포머를 라벨 없이 훈련하기
DINO는 라벨 없는 이미지만으로 비전 트랜스포머를 학습시키는 자기지도학습 기법이다. 학생-교사 구조, 멀티크롭, 온도 소프트맥스와 센터링으로 객체 분할 능력이 저절로 나타나는 과정을 정리했다.
핵심 내용 읽기 →
비전 트랜스포머(ViT) 작동 원리 — 이미지 패치와 트랜스포머로 분류하는 법, CNN과의 비교
비전 트랜스포머는 이미지를 작은 패치로 쪼개 트랜스포머 구조로 분류하는 모델입니다. CNN과의 차이, 데이터 규모의 중요성, 그리고 사전학습·파인튜닝·추론 과정을 일반 독자도 알기 쉽게 정리했습니다.
핵심 내용 읽기 →