InternVL 논문 리뷰: 60억 파라미터 비전 인코더와 QLLaMA 미들웨어로 멀티모달 정렬을 다시 설계하다

핵심 메시지

• 기존 비전-언어 모델은 Q-Former나 선형 프로젝션 같은 가벼운 연결층으로 두 모달리티를 이었는데, 언어 모델이 조 단위로 커지는 동안 비전 인코더는 10억 수준에 머물러 규모 불균형이 커졌다.
• InternVL은 비전 인코더를 60억 파라미터로 키우고, 무작위 초기화된 얕은 연결층 대신 사전학습된 다국어 언어 모델로 초기화한 미들웨어를 끼워 넣었다.
• 이 미들웨어는 학습 가능한 쿼리와 크로스 어텐션을 더해 약 80억 파라미터 규모가 되며, 기존 Q-Former의 42배에 이른다.
• 학습은 웹 규모 노이즈 데이터의 대조 학습, 필터링된 데이터의 생성 학습, 상용 언어 디코더를 붙인 지도 미세조정의 3단계로 점진적으로 진행된다.
• 비전 인코더와 미들웨어, 언어 디코더를 골라 조합하면 이미지 분류·분할, 대조 검색, 캡션 생성, 멀티모달 대화까지 하나의 모델군으로 처리할 수 있다.

쉽게 이해하기

발표자는 InternVL을 시각 인식, 비전-언어, 멀티모달 대화 과제 전반에서 최고 성능을 기록하고 CVPR 2024 구두 발표로 채택된 논문으로 소개한다. 출발점은 기존 비전-언어 모델의 연결 방식에 대한 문제 제기다. BLIP-2의 Q-Former나 단순 선형 프로젝션 같은 경량 연결층은 세 가지 한계를 갖는다는 것이다.

첫째는 파라미터 규모의 불균형이다. 언어 모델이 조 단위 파라미터까지 확장되는 동안 널리 쓰이는 비전 인코더는 여전히 10억 수준에 머물러, 언어 모델의 능력을 충분히 활용하지 못한다. 둘째는 표현의 불일치로, 순수 시각 데이터로만 학습된 인코더는 언어 모델과 표현 공간이 어긋난다. 셋째는 연결 과정의 비효율인데, 가볍고 무작위로 초기화된 연결층은 멀티모달 이해와 생성에 중요한 정보를 담아내지 못한다.

해법은 세 축이다. 비전 인코더를 60억 파라미터로 키워 언어 모델과 규모를 맞추고, 연결층 자리에 사전학습된 다국어 언어 모델로 초기화한 미들웨어를 두어 표현 공간을 정렬하며, 이미지-텍스트 정렬 학습을 점진적으로 진행한다. 비전 인코더 구축 과정에서는 정확도·속도·안정성의 균형을 위해 별도의 하이퍼파라미터 탐색을 거쳤는데, 파라미터 수가 같다면 깊이나 헤드 차원 같은 요소는 성능에 큰 영향을 주지 않았다는 결과가 나왔다.

미들웨어는 사전학습된 다국어 언어 모델을 그대로 가져와 96개의 학습 가능한 쿼리와 크로스 어텐션 레이어를 추가한 구조다. 이렇게 만들어진 약 80억 파라미터의 모듈은 Q-Former의 42배 규모이며, 언어적 표현력을 이미 갖춘 상태에서 시작하기 때문에 비전 인코더가 만든 이미지 토큰을 언어 모델과 정렬된 표현으로 바꿔줄 수 있다. 단순한 다리 역할에 그치지 않고 대조 학습에도 직접 참여해 제로샷 분류와 이미지-텍스트 검색의 품질을 함께 끌어올린다.

학습은 세 단계로 나뉜다. 1단계는 웹 규모의 노이즈 많은 이미지-텍스트 쌍을 대조 학습으로 정렬하는 과정으로, 원본 60억 쌍 규모에서 품질이 낮은 데이터를 걸러 약 50억 쌍으로 진행했다. 2단계는 비전 인코더를 동결한 채 미들웨어의 새 쿼리와 크로스 어텐션만 학습하며, 약 10억 쌍으로 이미지-텍스트 대조·매칭·생성 손실을 함께 최소화한다. 3단계에서는 상용 언어 디코더를 MLP 레이어로 연결하고 약 400만 건의 고품질 인스트럭션 데이터로 지도 미세조정을 수행한다.

주요 인사이트

• 논문은 이 구조를 스위스 아미 나이프에 비유한다. 비전 인코더만 쓰면 특징 맵 생성이나 이미지 분류 같은 시각 인식 과제를, 미들웨어까지 붙이면 대조 학습 기반 검색을, 언어 디코더까지 연결하면 캡션 생성과 멀티모달 대화를 수행하는 식으로 네 가지 조합이 제시된다.
• 대조 과제에서는 두 가지 추론 모드가 나뉜다. 하나는 비전 인코더의 이미지 특징을 그대로 쓰는 방식이고, 다른 하나는 미들웨어에서 학습 가능한 쿼리와 크로스 어텐션을 거친 쿼리 특징을 쓰는 방식이다. 두 단계 사전학습을 모두 거친 후자가 제로샷 이미지-텍스트 검색에서 더 좋은 성능을 보였다.
• 3단계에서 언어 디코더를 동결한 채 MLP 레이어만, 혹은 MLP와 미들웨어만 학습해도 견고한 성능이 나온다는 점이 실용적이다. 미세조정을 빠르게 끝낼 수 있고 언어 모델이 원래 갖고 있던 언어 처리 능력도 그대로 유지된다.
• 시각 인식 성능 검증에서는 백본을 고정한 선형 프로빙만으로 이미지넷 분류에서 최고 수준을 기록했고, ADE20K 시맨틱 분할에서는 220억 파라미터급 비전 모델보다 적은 파라미터로 더 나은 결과를 냈다. 추가 학습 없이도 픽셀 수준의 인식 능력이 강하다는 근거로 제시된다.
• 멀티모달 대화 평가에서는 인지·지각 능력을 여러 하위 과제로 나눠 보는 종합 벤치마크와 객체 환각을 측정하는 벤치마크를 함께 사용했다. 학습 가능한 파라미터 수를 맞춘 조건에서 이전 방식들을 앞섰다는 것이 발표자의 정리다.

자주 묻는 질문

관련 AI 소식