비전 언어 모델 VLM 입문: CLIP·공동 임베딩·멀티모달 LLM 이해하기

핵심 메시지

• 비전 언어 모델(VLM)은 텍스트와 이미지를 모두 벡터로 바꿔, '사과'라는 글과 사과 이미지가 비슷한 벡터가 되도록 하는 공동 임베딩 공간을 학습한다.
• VLM은 하나의 정해진 구조가 아니라 CLIP, 비주얼버트, ViLBERT처럼 매우 다양한 아키텍처의 통칭이며, 구조보다 '무엇을 할 수 있는가'로 이해하는 편이 낫다.
• VLM의 기본 부품은 이미지를 벡터로 바꾸는 시각 인코더(비전 트랜스포머 또는 CNN)와 텍스트를 벡터로 바꾸는 텍스트 인코더(BERT 등)다.
• 두 모달리티를 합치는 방식으로는 임베딩을 먼저 이어붙이는 초기 융합, 손실 직전에 만나는 후기 융합(CLIP의 대조 손실), 서로를 참조하는 교차어텐션 융합이 있다.
• VLM은 이미지 캡션·시각 질의응답·이미지 검색을 넘어, 로보틱스의 시각-언어-행동(VLA)과 자율주행의 시각-언어-계획(VLP)으로 응용 범위가 넓어지고 있다.

쉽게 이해하기

이 강의는 텍스트만 다루던 언어 모델을 넘어 이미지까지 함께 처리하는 멀티모달 LLM, 곧 비전 언어 모델(VLM)을 소개한다. 앞서 다룬 비전 트랜스포머는 이미지를 패치로 쪼개 분류하는 데는 뛰어났지만 텍스트를 다루지 못했다. VLM은 텍스트와 이미지 모두의 임베딩을 만들어, 캡션 생성이나 시각 질의응답처럼 두 모달리티가 얽힌 실제 데이터 작업을 가능하게 한다.

핵심 발상은 단순하다. '사과'라는 글자를 보든 사과 이미지를 보든 사람 머릿속에는 비슷한 개념이 떠오른다. 마찬가지로 텍스트와 이미지를 각각 벡터로 바꿨을 때, 같은 대상을 뜻하는 두 벡터는 공동 임베딩 공간에서 코사인 유사도가 높아야 한다. 과일 임베딩끼리, 동물 임베딩끼리 각자의 의미 영역으로 모이는 식이다.

VLM은 하나의 구조가 아니다. 대조 학습을 사용한 OpenAI의 CLIP(인용 약 4만 6천 회), BERT를 이미지로 확장한 비주얼버트, 이미지 질의가 텍스트의 키·값을 참조하고 그 반대도 이뤄지는 ViLBERT 등 다양한 아키텍처가 모두 VLM에 해당한다. 그래서 'VLM'이라는 말을 들으면 특정 구조를 떠올리기보다 무엇을 해내는지를 먼저 생각하는 편이 낫다.

VLM을 처음부터 만들려면 두 인코더가 필요하다. 이미지를 벡터로 바꾸는 시각 인코더는 보통 비전 트랜스포머를 쓰지만 어텐션 없는 CNN으로 이미지를 하나의 벡터로 압축해도 된다. 텍스트 인코더는 BERT나 GPT 같은 트랜스포머 계열이 흔하다. 학습을 거치면 처음엔 거의 반대 방향을 가리키던 이미지·텍스트 벡터가(코사인 유사도 약 0.04) 서로 가까워진다(약 0.89).

두 임베딩을 합치는 융합에는 세 방식이 있다. 임베딩을 이어붙인 뒤 하나의 트랜스포머에 넣는 초기 융합, 각자 임베딩을 만든 뒤 손실 함수 직전에서야 서로를 보게 하는 후기 융합(CLIP의 대조 손실이 대표적), 그리고 이미지와 텍스트가 서로의 키·값을 참조하는 교차어텐션 융합이다. 이런 공동 표현 위에서 VLM은 캡션 생성, 시각 질의응답, 이미지 검색은 물론, 로보틱스의 시각-언어-행동(VLA)과 자율주행의 시각-언어-계획(VLP)까지 폭넓게 활용된다.

주요 인사이트

• VLM의 정체성은 특정 아키텍처가 아니라 '텍스트와 이미지를 같은 의미 공간에 정렬한다'는 목표에 있다. 이 공동 임베딩만 확보되면 캡션 생성이든 이미지 검색이든 원하는 작업을 그 위에 얹을 수 있다.
• 시각 인코더가 반드시 비전 트랜스포머일 필요는 없다. 어텐션이 없는 CNN으로 이미지를 하나의 벡터로 만들어도 되며, 핵심은 이미지를 의미 있는 숫자 벡터로 바꾸는 것뿐이다.
• 학습의 본질은 두 인코더의 가중치가 바뀌어 짝을 이루는 이미지·텍스트 벡터가 점점 가까워지는 것이다. 강의에서 든 예시처럼 코사인 유사도가 0.04에서 0.89로 오르는 변화가 바로 정렬이 학습되는 과정이다.
• 융합 방식의 선택은 곧 설계의 자유도다. 비전 트랜스포머가 구조가 거의 고정돼 있던 것과 달리, VLM은 초기·후기·교차어텐션 융합 등으로 다양하게 조립할 수 있다.
• VLM은 장난감 수준의 캡션·검색에 그치지 않는다. 자율주행의 인지-계획-제어 스택에 언어 모델을 끼워 넣는 시각-언어-계획처럼, 로보틱스와 자율주행의 의사결정으로 응용이 확장되고 있다.

자주 묻는 질문

관련 AI 소식