멀티모달리티란? 구글 Gemma 3가 이미지·짧은 영상·텍스트를 한 번에 이해하는 법

핵심 메시지

• Gemma 3는 코드 생성·사실성·추론·수학·다국어 등 텍스트 능력을 유지하거나 강화하면서 멀티모달리티로 영역을 넓혔다.
• 멀티모달리티란 텍스트만, 또는 이미지만 다루는 것이 아니라 여러 종류의 데이터를 동시에 이해하고 통합하는 능력이다.
• Gemma 3(4B·12B·27B)는 이미지를 보고 분석하고, 몇 분 길이의 짧은 영상을 이해하며, 다중 페이지 문서를 두고 긴 대화를 나눌 수 있다.
• 성능을 제대로 끌어내려면 이미지만 보여주지 말고 ‘이 이미지의 모든 안전 라벨을 찾아 나열하라’처럼 과제를 명확히 지시해야 한다.
• 강력한 비전 인코더와 다국어·멀티모달 공동 학습 덕분에 최대 140개 언어로 이미지를 설명하고 답할 수 있다.

쉽게 이해하기

발표자 아이쉬와리아는 Gemma 팀에서 멀티모달 연구를 이끄는 연구과학자로, Gemma 3가 텍스트 실력을 지키면서 멀티모달 능력을 더했다고 소개한다. 사람이 그림과 글이 함께 있는 안내서를 자연스럽게 이해하듯, 멀티모달 AI도 여러 형태의 정보를 동시에 받아들여 통합한다.

Gemma 3는 이미지를 보고 그 안의 내용을 설명하거나 질문에 답하고, 객체를 식별하며, 이미지 속 글자를 추출할 수 있다. 또한 몇 분 분량의 짧은 영상을 이해해 교육용 클립 속 행동을 파악하거나 짧은 광고·소셜 영상의 내용을 빠르게 요약한다.

활용 사례는 넓다. 다이어그램을 설명하고 핵심을 퀴즈로 내주는 대화형 교과서 도우미, 작가·주제·역사적 맥락을 알려주고 비문을 번역하는 미술관 동반자, 사물과 장면을 묘사해 어휘를 늘려주는 언어 학습 도우미, 낯선 동식물을 식별해주는 자연 탐구 도우미 등이다.

개발 현장에서도 쓸모가 많다. 모든 이미지에 대체 텍스트(alt 태그)를 생성해 접근성과 SEO를 높이고 시각 장애 사용자 경험을 개선하거나, 게임 개발자가 그림·스케치를 바탕으로 퀘스트를 설계하도록 돕는다. 개방형 모델이라 개발자와 연구자가 이를 토대로 특정 과제에 맞게 파인튜닝할 수 있다.

작동 원리의 핵심은 강력한 비전 인코더다. 이미지를 언어 모델이 처리할 수 있는 형태로 변환하며, 팬 앤 스캔(pan and scan) 같은 기법으로 고해상도·비정방형 이미지도 효과적으로 다룬다. 강력한 토크나이저와 다국어·멀티모달 공동 학습이 결합돼 사용자가 원하는 언어로 설명하고 답한다.

주요 인사이트

• 멀티모달리티의 진짜 힘은 비전 이해와 텍스트 이해, 그리고 긴 컨텍스트가 결합될 때 나온다. 이 셋이 만나면 더 복잡하고 다층적인 과제를 정교하게 처리할 수 있다.
• 이미지만 던지는 것이 아니라 명확한 지시문을 함께 주는 것이 성능을 끌어내는 핵심이다. 과제를 정밀하게 지정할수록 모델의 응답이 유용해진다.
• 개방형 모델이라는 점이 혁신 속도를 높인다. 누구나 모델 위에 무언가를 쌓고 특정 용도로 파인튜닝할 수 있기 때문이다.
• 최대 140개 언어 지원은 단순 번역을 넘어, 사용자가 자신의 언어로 시각 정보를 묻고 답할 수 있게 해 접근성을 크게 넓힌다.

자주 묻는 질문

관련 AI 소식