멀티모달 LLM 작동 원리 정리: ViT와 CLIP부터 플라밍고, Q-Former, 오디오 이해까지

핵심 메시지

• 이미지·영상·음성 이해는 모두 비슷한 세 단계를 거친다. 모달리티별 인코더로 수치 표현을 만들고, 그 표현을 텍스트 임베딩과 정렬한 뒤, 어댑터로 언어 모델에 연결하는 방식이다.
• 비전 트랜스포머는 이미지를 16×16 픽셀 조각으로 잘라 위치 정보와 함께 나열해, 문장 속 단어를 다루듯 조각 사이의 관계를 학습한다.
• CLIP은 4억 쌍의 이미지-설명문으로 대조 학습을 해 이미지와 텍스트를 같은 임베딩 공간에 놓았고, 그 덕분에 학습에 없던 라벨로도 분류하는 제로샷 분류가 가능해졌다.
• 플라밍고와 BLIP-2는 인코더와 언어 모델을 얼린 채 사이를 잇는 작은 모듈만 학습시켜, 언어 능력을 잃지 않으면서 시각 능력을 더하는 방식을 정착시켰다.
• 오디오도 스펙트로그램을 이미지처럼 16×16 조각으로 자르는 등 비전에서 검증된 기법을 거의 그대로 옮겨 왔다.

쉽게 이해하기

언어 모델은 원래 텍스트만 다루도록 만들어졌지만, 지금은 사진과 영상, 음성 파일까지 입력으로 받아 그 내용을 이해한다. 발표자는 이것이 자연스러운 진화라고 본다. 사람은 세상을 텍스트로만 인식하지 않고 여러 감각을 함께 쓰며, 사람이 컴퓨터와 주고받는 정보도 상당 부분이 이미지와 영상, 소리이기 때문이다. 이미 탄탄하게 쌓인 언어 이해 능력을 시각과 청각으로 이어 붙이는 것이 핵심 과제가 됐다.

출발점은 비전 트랜스포머다. 이미지를 16×16 픽셀 조각으로 나눠 순서대로 펼치고, 각 조각을 임베딩으로 바꾼 뒤 원래 어디에 있었는지를 알려주는 위치 인코딩을 더해 트랜스포머 인코더에 넣는다. 그러면 셀프 어텐션이 문장 속 단어 관계를 배우듯 조각들 사이의 관계를 배우고, 이미지 한구석의 물체를 다른 구석의 세부와 연결하는 장거리 의존성까지 잡아낸다. 다만 이 단계는 이미지를 인코딩할 뿐 텍스트와 맞춰 놓은 것은 아니다. 그 역할을 한 것이 CLIP으로, 4억 쌍의 이미지와 설명문을 두고 어느 설명이 어느 이미지에 붙는지 맞히도록 학습해 맞는 짝은 가깝게, 아닌 짝은 멀게 밀어냈다. 그 결과 학습 때 보지 못한 라벨을 줘도 추가 학습 없이 가장 가까운 라벨을 찾아내는 제로샷 분류가 가능해졌다.

이해에서 생성으로 넘어간 계기는 플라밍고 계열이다. 사전 학습된 비전 인코더와 언어 모델을 거의 그대로 얼려 두고, 입력 크기가 제각각인 시각 표현을 정해진 개수의 특징으로 표준화하는 퍼시버 리샘플러와, 언어 모델 층 사이에 끼워 넣는 게이티드 크로스 어텐션만 새로 학습시켰다. 통과시킬 시각 정보의 양을 조절하는 게이트 덕분에 언어 모델이 기존 능력을 잊는 문제를 피할 수 있었다. BLIP-2는 이 발상을 더 밀어붙여, 이미지 인코더와 언어 모델을 완전히 얼린 채 사이를 잇는 가벼운 Q-Former만 두 단계로 학습시켰다. 먼저 학습 가능한 질의 토큰으로 이미지 표현에서 텍스트와 관련 있는 부분만 추려 내게 하고, 다음으로 그 출력을 언어 모델이 알아들을 형태로 바꾸도록 맞춘다. 그 결과 800억 파라미터급 플라밍고보다 54배 적은 학습 파라미터로 제로샷 이미지 질의응답에서 더 좋은 성적을 냈다.

영상은 이미지의 연속이지만 시간이라는 축이 하나 더 붙는다. TimeSformer는 시간 방향의 어텐션과 공간 방향의 어텐션을 한꺼번에 계산하지 않고 나눠서 처리하는 방식으로, 언제 일어났는지와 어디에서 일어났는지를 분리해 학습한다. VideoMAE는 프레임 조각의 상당수를 가린 뒤 복원하게 해 시공간 특징을 익히게 했고, InternVideo2는 이 마스킹 학습으로 기초를 다진 다음 영상과 텍스트를 대조 학습으로 정렬하고 Q-Former로 언어 모델에 연결했다. 메타의 아폴로 모델군은 공간 세부에 강한 SigLIP 인코더와 시간 변화에 강한 InternVideo2 인코더를 함께 써 한쪽만 쓸 때보다 나은 결과를 얻었고, 초당 프레임 기준으로 연속된 구간을 뽑는 샘플링이 긴 영상의 시간 순서를 유지하는 데 효과적이었다고 밝혔다.

오디오는 상대적으로 덜 주목받았지만 목소리의 톤이나 배경음, 비언어적 신호처럼 텍스트와 영상만으로는 놓치는 정보를 담고 있다. 흥미로운 점은 접근법이 비전과 거의 같다는 것이다. 오디오 스펙트로그램 트랜스포머는 소리를 시간에 따른 열지도처럼 만든 스펙트로그램을 16×16 조각으로 잘라 비전 트랜스포머와 사실상 같은 방식으로 처리한다. CLAP은 CLIP과 같은 대조 학습으로 소리와 텍스트를 같은 공간에 정렬해 제로샷 분류를 가능하게 했고, 오디오 플라밍고는 플라밍고의 크로스 어텐션 구조를, GAMA 계열은 Q-Former식 어댑터를 오디오에 그대로 옮겨 왔다. 발표자가 자동차 시동 소리를 모델에 넣자 엔진이 걸리고 공회전하는 소리라는 설명이 돌아왔는데, 말소리뿐 아니라 일반적인 소리까지 이해한다는 점을 보여주는 예다.

주요 인사이트

• 모달리티가 달라도 해법의 뼈대는 같다. 전용 인코더로 표현을 만들고, 텍스트 임베딩과 정렬하고, 어댑터로 언어 모델에 붙이는 세 단계가 이미지·영상·음성에서 반복된다.
• 무거운 학습을 피하는 방향으로 설계가 수렴했다. 이미 대량의 단일 모달 데이터로 학습된 인코더와 언어 모델을 얼려 두고 둘 사이를 잇는 작은 부품만 학습시키면, 비용도 줄고 언어 모델이 기존 능력을 잊는 위험도 줄어든다.
• 부품을 갈아 끼울 수 있다는 점도 실용적 이점이다. BLIP-2 방식에서는 이미지 인코더나 언어 모델을 바꿔도 둘을 잇는 Q-Former만 새로 학습하면 된다.
• 영상 이해에서 성능을 끌어올린 방법은 더 큰 인코더 하나가 아니라 성격이 다른 인코더의 조합이었다. 공간 세부에 강한 인코더와 시간 변화에 강한 인코더를 함께 쓰는 편이 나았다.
• 다음 단계는 이해를 넘어 생성이다. 하나의 모델이 이미지 생성과 텍스트 생성을 함께 처리하거나 음성을 직접 주고받는 사례가 이미 등장했고, 이는 입력과 출력 양쪽에서 모달리티의 경계를 지우는 방향이다.

자주 묻는 질문

관련 AI 소식