파이토치로 비전-언어 모델(PaliGemma) 밑바닥부터 구현: 전체 해설

핵심 메시지

• 구글의 비전-언어 모델 PaliGemma를 비전 인코더·선형 투영·언어 모델까지 파이토치로 밑바닥부터 구현한다.
• 비전-언어 모델은 이미지에서 정보를 추출하는 언어 모델로, 이미지와 프롬프트를 함께 받아 조건부 생성(conditional generation)으로 답을 만든다.
• 비전 인코더는 대조 학습(contrastive learning)으로 훈련되며, 강의는 CLIP에서 시작해 구글의 SigLIP으로 이어지는 역사를 함께 짚는다.
• 어텐션 메커니즘의 모든 텐서 연산을 직접 그림으로 그려 설명하고, KV 캐시·회전 위치 인코딩·배치/레이어/RMS 정규화까지 수학과 코드로 다룬다.

쉽게 이해하기

이 강의는 구글이 공개한 비전-언어 모델 PaliGemma를 파이토치로 처음부터 구현하는 심층 튜토리얼이다. 비전 인코더, 이미지 특징을 언어 모델 차원으로 맞추는 선형 투영층, 트랜스포머 언어 모델(Gemma) 자체, 그리고 이미지 토큰 임베딩과 텍스트 토큰 임베딩을 어떻게 결합해 조건부로 출력을 생성하는지를 모두 코드로 만든다.

비전-언어 모델이란 이미지에서 정보를 추출할 수 있는 언어 모델이다. 예를 들어 사진과 '사진사가 어디서 쉬고 있나?'라는 프롬프트를 함께 주면, 모델이 이미지를 이해해 '열대 해변의 나무 아래 해먹에서'와 같은 답을 생성한다. 이미지는 픽셀 블록의 격자로 나뉘어 각 블록이 고정 크기 임베딩으로 변환되고, 이 임베딩이 텍스트 토큰 임베딩과 이어 붙여져 트랜스포머로 전달된다.

강의의 첫 부분은 비전 트랜스포머, 즉 이미지에서 정보를 추출하는 비전 인코더다. 이 인코더가 '대조적(contrastive)'이라 불리는 이유를 이해하기 위해 대조 학습을 깊이 다룬다. 위키피디아처럼 이미지와 설명이 짝지어진 데이터를 크롤링하면, 이미지 인코더와 텍스트 인코더가 각각 임베딩을 만들고, 짝이 맞는 이미지-텍스트 쌍의 임베딩은 가까워지고 아닌 쌍은 멀어지도록 학습한다. 강의는 잘 알려진 CLIP에서 출발해 구글이 이를 발전시킨 SigLIP까지 그 역사를 설명한다.

언어 모델 부분에서는 Gemma 언어 모델을 코딩하고, 비전 모델과 언어 모델의 임베딩을 결합하는 방법을 다룬다. 추론을 최적화하기 위해 KV 캐시를 밑바닥부터 구현하며 그 작동 원리를 단계별로 설명하고, 언어 모델에 필요한 회전 위치 인코딩(RoPE)과 배치 정규화·레이어 정규화·RMS 정규화의 수학을 모두 짚는다.

발표자는 코드만 보고 이해한 척하기보다 실제 이해를 돕기 위해, 어텐션 메커니즘에서 각 텐서가 view·reshape·행렬 곱을 거치며 어떻게 바뀌는지 일일이 그림으로 그려 보여 준다. 또한 어텐션·정규화·위치 인코딩 같은 핵심 주제를 여러 번 반복 설명해, 한 번에 이해하지 못해도 다른 방식의 설명으로 다시 접하도록 구성했다. 유일하게 코딩하지 않는 부분은 별도 주제로 남겨 둔 토크나이저다.

주요 인사이트

• 비전-언어 모델의 핵심은 이미지를 격자형 패치 임베딩으로 바꿔 텍스트 토큰 임베딩과 나란히 이어 붙이고, 이를 조건(condition)으로 삼아 텍스트를 생성하는 조건부 생성 구조다.
• 비전 인코더의 '대조적' 성질은 대조 학습에서 나온다. 짝이 맞는 이미지-설명 쌍의 임베딩은 가까워지고 아닌 쌍은 멀어지게 학습하며, CLIP이 이를 대표하고 SigLIP이 이를 개선했다.
• 추론 최적화를 위해 KV 캐시가 필수다. 강의는 이를 기성 라이브러리에 맡기지 않고 밑바닥부터 구현해 원리까지 드러낸다.
• 정규화도 한 종류가 아니다. 비전 모델과 언어 모델에서 배치 정규화·레이어 정규화·RMS 정규화가 각각 어떻게 다르게 쓰이는지 수학과 함께 비교한다.

자주 묻는 질문

관련 AI 소식