멀티모달 AI 쉽게 이해하기: 번역 모듈로 LLM에 이미지·소리를 연결하는 구조

핵심 메시지

• 멀티모달 AI는 텍스트뿐 아니라 이미지와 소리까지 함께 이해해, 한 종류의 입력만 다루는 기존 모델보다 풍부하고 맥락적인 이해를 만든다.
• 구조의 핵심은 텍스트를 이해하는 LLM에 모달리티마다 "번역 모듈"을 붙여 이미지의 픽셀 같은 입력을 LLM이 이해하는 형식으로 바꾸는 것이다.
• 각 번역 모듈은 독립적으로 또는 함께 학습할 수 있으며, 모듈을 추가하는 방식으로 소리·영상·센서 데이터까지 모달리티를 늘릴 수 있다.
• 학습된 멀티모달 시스템은 각 모달리티를 따로 이해하는 데 그치지 않고 교차모달 추론(예: 이미지와 소리를 묶어 추론)까지 해낸다.

쉽게 이해하기

세일즈포스의 AI 연구 시리즈 "AI Research Lab"에서 연구 리더 후안 카를로스 니블스가 멀티모달리티를 주제로 설명한다. 멀티모달이란 AI가 텍스트뿐 아니라 소리와 이미지까지 이해하는 능력을 말한다.

연구가 멀티모달에 집중하는 이유로는 사람이 세상과 상호작용하는 방식을 든다. 우리는 문자, 사진 공유, 영상 녹화, 음성 메모를 매일 자연스럽게 오가며 여러 종류의 데이터를 다룬다. 현실의 지능은 한 차원이 아니므로 AI도 그래야 한다는 것이다. 텍스트 전용 챗봇이나 이미지 분류기처럼 한 종류만 처리하는 전통적 모델과 달리, 멀티모달 모델은 여러 데이터 소스를 융합해 더 풍부하고 맥락적인 이해를 만든다. 예컨대 영상을 주고 "여기서 무슨 일이 일어나는가?"라고 물으면, 오디오나 한 프레임만이 아니라 영상과 프레임 시퀀스를 함께 처리해 객체 인식, 음성 인식, 전체 장면 이해를 거쳐 의미 있는 답을 만든다.

구현 원리는 이렇다. 먼저 텍스트 토큰을 이해하는 LLM에서 출발한다. 여기에 "번역기" 역할을 하는 신경망 모듈을 도입하는데, 이 모듈은 이미지의 픽셀 데이터 같은 한 모달리티의 입력을 LLM이 이해할 수 있는 형식으로 변환한다. 그러면 텍스트와 이미지를 함께 이해하는 시스템이 되고, 같은 방식으로 오디오·영상·센서 등 모달리티마다 모듈을 하나씩 더 붙여 확장한다.

각 번역 모듈(예: 이미지→토큰 모듈)은 독립적으로 또는 다른 모듈과 함께 학습할 수 있다. 학습은 모듈이 이미지 내용을 LLM이 이해하는 벡터 공간에 정확히 매핑하도록 하는 과정이며, 학습이 끝나면 LLM은 새로운 입력 경로를 얻어 이미지를 처리하고 그 내용을 바탕으로 응답을 만든다.

흥미롭게도 학습 후 시스템은 각 모달리티를 따로 이해하는 데 그치지 않고 교차모달 질문에도 답한다. 예를 들어 축구장 이미지와 기타 소리를 주고 "어느 입력이 음악가와 관련 있는가?"를 물을 수 있다. 이런 능력은 에이전트로도 확장돼, 이미지를 분석하며 추론하거나 웹페이지를 시각적으로 읽고 버튼을 누르고 양식을 채우는 일, 나아가 환경을 센서로 감지하고 언어로 소통하는 로봇의 "두뇌" 역할까지 가능하게 한다.

주요 인사이트

• 멀티모달 AI의 강점은 단순히 여러 입력을 받는 것이 아니라, 서로 다른 데이터를 융합해 더 깊은 이해와 더 나은 결과를 만드는 데 있다.
• 기존 LLM을 버리지 않고 모달리티별 번역 모듈을 덧붙이는 모듈식 설계라서, 새로운 데이터 유형을 점진적으로 추가하기 쉽다.
• 핵심 학습 목표는 각 모달리티 입력을 LLM이 이해하는 공통 벡터 공간으로 정확히 매핑하는 것이다.
• 교차모달 추론은 멀티모달 AI의 핵심 능력으로, 이미지와 소리를 묶어 판단하는 식의 질문에 답할 수 있게 한다.
• 멀티모달 능력은 웹을 시각적으로 다루는 에이전트나 환경을 감지하고 말로 소통하는 로봇 같은 응용으로 이어진다.

자주 묻는 질문

관련 AI 소식