비전-언어 모델(VLM) 작동 원리 — CLIP·DALL·E·Florence와 멀티모달 AI

핵심 메시지

• 비전-언어 모델은 이미지의 픽셀과 문장의 문자를 하나의 통합 입력으로 같은 모델에 넣는 멀티모달 학습에 기반한다.
• 이 모델들이 수행하는 일은 크게 생성(새 콘텐츠 만들기)·분류(내용 해석·추론)·검색(텍스트로 시각 정보 찾기) 세 가지로 나뉜다.
• 아키텍처는 텍스트용 트랜스포머 BERT를 시각에 응용하면서 폭발적으로 발전했고, 2스트림(ViLBERT)과 1스트림(VisualBERT) 방식으로 갈린다.
• 학습은 이미지-텍스트 짝 맞히기를 보상·벌점으로 반복하는 대조 학습이 핵심이며, CLIP은 4억 쌍으로 제로샷 분류를 해낸다.
• DALL·E는 텍스트·이미지 토큰을 한 흐름으로 합쳐 새 이미지를 만들고, 디퓨전은 노이즈를 거꾸로 되돌려 이미지를 생성한다.

쉽게 이해하기

영상은 기계가 '동시에 세상을 보고 글을 읽는' 비전-언어 모델(VLM)의 작동 원리를 6개 섹션으로 풀어낸다. 토대는 멀티모달 학습이다. 사람이 글과 그림을 따로 보지 않고 합쳐 맥락을 만들 듯, AI도 이미지의 픽셀과 문장의 문자라는 서로 다른 통계적 성질을 하나의 통합 입력으로 같은 모델에 넣어 처리한다.

이 모델이 실제로 하는 일은 세 갈래다. 무에서 새로운 시각·텍스트 콘텐츠를 만드는 생성, 본 내용을 해석·추론하는 분류, 그리고 텍스트로 시각 정보를(혹은 그 반대로) 찾는 검색이다. 대표 사례인 시각 질의응답(VQA)은 '사진 속 자동차 색이 뭐야?'라는 질문에 키워드만 맞히는 게 아니라, 이미지를 실제로 처리해 객체를 자동차로 식별하고 색을 판단한 뒤 자연어로 답한다.

아키텍처의 뿌리는 자연어 처리의 큰 돌파구였던 트랜스포머 모델 BERT다. 연구자들은 텍스트에서 성공한 이 패턴 인식 엔진을 시각 과제에도 적용할 수 있음을 깨달았고, 그 결과 멀티모달 구조가 폭발적으로 늘었다. 시각과 언어를 뇌의 다른 부위처럼 따로 처리한 뒤 '코-어텐션'으로 결합하는 2스트림(ViLBERT)과, 처음부터 하나의 트랜스포머에 두 양식을 함께 넣는 1스트림(VisualBERT)으로 나뉜다.

학습에는 텍스트용 마스크드 언어 모델링, 이미지용 마스크드 영역 모델링 등 여러 사전학습 전략이 쓰인다. 진짜 핵심은 이들을 결합한 이미지-텍스트 매칭과 대조 학습으로, 올바른 그림-문장 짝에는 보상을, 틀린 짝에는 벌점을 주는 고속 매칭 게임을 수백만 번 반복해 시각 개념과 언어의 관계를 익힌다.

이 원리가 쌓여 유명 모델로 이어진다. DALL·E는 텍스트와 이미지 토큰을 하나의 데이터 흐름으로 합쳐 존재한 적 없는 이미지를 만들고, GLIDE·디퓨전 모델은 이미지에 가우시안 노이즈를 주입해 순수 잡음으로 만든 뒤 그 과정을 역으로 학습해 텍스트 프롬프트에 따라 이미지를 복원한다. CLIP은 4억 개 이미지-텍스트 쌍의 대조 학습으로 한 번도 본 적 없는 라벨까지 분류하는 제로샷 능력을 얻었고, ALIGN은 10억 개의 노이즈 섞인 쌍으로 '규모가 노이즈를 상쇄한다'를 증명했다. Florence는 객체 단위부터 영상 이해까지 다방면을 석권하는 파운데이션 모델로 제시되며, VinVL·SimVLM은 모델의 '눈'에 해당하는 시각 인코딩을 강화한다. 영상은 거대 인프라와 데이터가 필요한 이 분야가 아직 시작 단계라는 전망으로 끝맺는다.

주요 인사이트

• VLM의 토대인 멀티모달 학습의 본질은 픽셀과 문자라는 이질적 데이터를 '하나의 통합 입력'으로 같은 모델에 넣는 것이다 — 서로 다른 양식을 한 공간에서 다루는 게 핵심이다.
• 텍스트에서 검증된 트랜스포머(BERT)를 시각으로 옮긴 것이 멀티모달 폭발의 출발점이었다. 한 영역의 돌파구가 인접 영역으로 전이되는 전형적 사례다.
• 대조 학습은 올바른 짝을 끌어당기고 틀린 짝을 밀어내는 '자석'처럼 작동해, CLIP이 명시적으로 학습하지 않은 라벨까지 분류하는 제로샷 일반화를 가능하게 한다.
• ALIGN의 교훈은 '때로는 규모가 정제를 이긴다'는 것이다. 10억 개의 노이즈 섞인 데이터로도 값비싼 전처리를 건너뛰고 뛰어난 성능에 도달할 수 있다.
• 텍스트 인코딩이 사실상 해결된 지금, 연구의 무게중심은 VinVL·SimVLM처럼 모델의 '시각' 표현을 더 정교하게 끌어올리는 쪽으로 옮겨가고 있다.

자주 묻는 질문

관련 AI 소식