VLM 비전 언어 모델이란 - 기존 AI와 차이, 사전학습과 파인튜닝, 활용 분야

핵심 메시지

• VLM(비전 언어 모델)은 이미지와 언어를 함께 처리하는 모델로, 완전히 새로운 기술이 아니라 오래전부터 시도돼 온 연구가 최근 필요에 따라 부상한 것이다.
• 기존에는 비전은 합성곱 신경망, 언어는 트랜스포머로 각각 발전해 왔는데, 시간 순서로 늘어선 언어 데이터와 공간에 놓인 이미지 데이터의 성질이 달라 결합이 늦어졌다.
• 사전학습은 일반적인 언어와 이미지를 미리 학습시켜 두는 과정이고, 그 위에 원하는 문제를 얹어 적은 데이터로 빠르게 학습시키는 것이 파인튜닝이다.
• 멀티모달이란 서로 다른 도메인의 데이터를 함께 다룬다는 뜻으로, 이미지와 설명을 짝짓거나 이미지에서 설명을 만들어내는 학습이 대표적이다.
• 발표자는 비대면 진료처럼 보고 듣고 되묻는 과정이 필요한 분야, 그리고 집안일처럼 시각 정보와 언어 명령이 함께 오는 상황을 VLM이 잘 맞는 영역으로 꼽았다.

쉽게 이해하기

VLM은 비전 언어 모델의 줄임말로, 이미지와 언어를 함께 처리하는 모델이다. 발표자는 이것이 갑자기 나타난 신기술이 아니라 예전부터 연구돼 온 주제라고 선을 긋는다. 다만 최근 들어 실제 필요가 커지고 언론 노출이 늘면서 사람들이 이 단어를 본격적으로 인식하기 시작했다는 것이다.

그동안 이미지 처리와 언어 처리는 따로 발전해 왔다. 비전 쪽은 합성곱 신경망을 기반으로, 언어 쪽은 최근 트랜스포머를 기반으로 각각 성장했다. 두 데이터의 성질이 다른 것도 이유였다. 언어는 시간에 따라 나열되는 데이터인 반면 이미지는 2차원 혹은 3차원 공간에 놓인 데이터여서, 이를 함께 다루려면 다른 접근이 필요했다. 발표자는 둘을 합치려는 연구가 오히려 늦게 시작된 편이라고 본다.

핵심 개념은 사전학습이다. 아무것도 학습되지 않은 상태에서 원하는 과제의 데이터만 넣어 학습시키면, 고양이와 개를 구분하는 단순한 문제조차 수백 장 이상의 데이터가 필요하다. 그래서 먼저 일반적인 대화나 문장, 일반적인 이미지를 대량으로 학습시킨다. 예를 들어 긴 문장에서 단어 하나를 가리고 그 단어를 맞히게 하는 식이다. 이렇게 언어와 이미지의 구조를 미리 익혀 두면, 나중에 원하는 문제를 학습시킬 때 필요한 데이터가 크게 줄어든다. 그 뒤 단계가 파인튜닝이다.

멀티모달은 서로 다른 도메인의 데이터를 함께 다룬다는 뜻이다. 영어 시험에서 이미지를 보고 알맞은 설명을 고르는 문제처럼, 이미지와 설명을 짝짓거나 이미지로부터 설명을 만들어내는 학습이 여기에 해당한다. 비전과 언어라는 서로 다른 두 갈래를 함께 쓰기 때문에 멀티모달이라 부른다.

활용 분야로는 비대면 진료가 먼저 언급됐다. 환자의 상태를 눈으로 보고 문진으로 되묻는 과정 자체가 보고, 듣고, 말하며 피드백하는 형식이기 때문이다. 집안일처럼 '어질러진 것을 보고 치워야겠다고 판단하는' 상황이나 언어로 내려지는 지시도 잘 맞는다. 실무에서는 발표 자료처럼 시각 정보와 글자가 뒤섞인 문서를 한 번에 이해시켜 요약하거나 잘못된 부분을 짚게 하는 활용이 가능하다고 설명한다.

주요 인사이트

• VLM의 부상은 새로운 발명보다 '언제 필요해졌는가'의 문제에 가깝다. 기술 자체는 오래 있었지만 수요와 관심이 늦게 따라왔다.
• 언어는 시간축, 이미지는 공간축이라는 데이터 성질의 차이가 두 분야의 통합을 늦춘 실질적 장벽이었다는 설명이 명쾌하다.
• 사전학습의 진짜 가치는 성능보다 데이터 효율에 있다. 세상의 구조를 먼저 익혀 두면 개별 과제에 필요한 데이터가 급격히 줄어든다.
• 발표자는 인공지능이 시각과 언어 정보를 동시에 처리하고 그로부터 판단을 내리는 것을 앞으로의 방향으로 봤다.
• 개발자에게는 무엇을 만들 수 있느냐가, 실무자에게는 어떻게 써먹느냐가 관건이라는 구분은 이 기술을 대하는 두 갈래 태도를 잘 보여준다.

자주 묻는 질문

관련 AI 소식