메타 퍼셉션 언어 모델(PLM) 분석: 폐쇄형 증류 없이 만든 개방형 비전 언어 모델의 학습법

핵심 메시지

• 성능이 가장 앞선 비전 언어 모델은 대부분 폐쇄형이고, 공개된 모델조차 폐쇄형 모델이 만든 라벨을 증류해 학습하는 경우가 많다.
• 메타의 퍼셉션 언어 모델(PLM)은 폐쇄형 블랙박스 모델에 전혀 기대지 않고 데이터와 모델을 처음부터 만들어 공개하는 데 목표를 뒀다.
• 구조는 라마 3 기반 LLM에 퍼셉션 인코더와 2층 MLP 프로젝터를 붙여, 시각 임베딩을 언어 모델의 임베딩 공간으로 옮겨 텍스트와 함께 처리하는 방식이다.
• 학습은 프로젝터만 데우는 워밍업, 전체를 함께 학습하는 중간 단계, 고해상도와 사람 주석 데이터를 쓰는 마지막 단계의 3단계로 진행된다.
• 합성 데이터만으로는 어려운 영상 질의응답의 오류가 좀처럼 줄지 않았고, 사람이 주석한 1400만 샘플을 넣은 마지막 단계에서 성능이 크게 올랐다.

쉽게 이해하기

비전 언어 모델은 텍스트와 이미지, 나아가 영상까지 함께 받아들여 의미 있는 답을 만들어내는 모델이다. 이미지 설명 생성, 시각 질의응답, 영상 이해, 멀티모달 추론 같은 일에 쓰인다. 문제는 가장 앞선 모델들이 모두 폐쇄형이고, 성능 좋은 공개 모델조차 폐쇄형 모델에 학습 데이터의 라벨을 만들게 해 그 출력을 흉내 내도록 배운다는 점이다. 이런 방식으로는 쓸 만한 모델은 나와도 공개 연구 공동체의 과학적 진전에는 기여가 적다.

메타의 논문은 이 공백을 겨냥해 퍼셉션 언어 모델을 폐쇄형 모델의 도움 없이 처음부터 만드는 과정을 기록했다. 구조의 중심에는 사전 학습된 언어 모델인 라마 3이 있고, 이미지와 영상에서 시각 특징을 뽑아내는 퍼셉션 인코더가 붙는다. 인코더가 내놓은 임베딩은 그대로 언어 모델에 들어갈 수 없어서, 2층 MLP로 된 프로젝터가 이를 언어 모델의 임베딩 공간으로 옮긴다. 변환된 시각 임베딩과 토큰 임베딩을 합쳐 함께 넣으면 여러 종류의 입력을 한꺼번에 처리할 수 있다.

모델은 여러 크기로 만들어졌다. 라마 3.2의 10억·30억 모델에는 3억 파라미터의 큰 퍼셉션 인코더가, 라마 3.1의 80억 모델에는 19억 파라미터의 거대 인코더가 짝지어졌다. 고해상도 이미지는 인코더가 감당하는 크기를 넘기 때문에 동적 타일링으로 잘게 나누고, 각 타일은 2×2 화소 블록을 평균값으로 바꾸는 평균 풀링을 거쳐 해상도를 더 낮춘다. 영상은 32개 프레임을 뽑아 같은 처리를 적용한다.

학습의 첫 단계는 프로젝터만 학습시키는 워밍업이다. 인코더와 언어 모델은 얼려 둔 채, 새로 초기화된 프로젝터만 100만 장의 이미지로 데워 이후 단계의 안정성을 확보한다. 여기서 쓰는 캡션은 폐쇄형 비전 언어 모델이 아니라 텍스트 전용 LLM이 만든다. 원본 데이터셋의 메타데이터와 캡션, 그리고 광학 문자 인식으로 이미지에서 뽑아낸 글자를 재료로 주는 방식이라, 완전한 개방형이라는 목표가 흔들리지 않는다.

두 번째 중간 학습 단계에서는 얼려 두었던 인코더와 언어 모델까지 함께 학습하며, 6470만 개의 이미지·영상 샘플과 합성 질의응답을 사용한다. 그러나 어려운 영상 질의응답의 오류율은 학습이 진행되는 내내 크게 남았다. 마지막 단계는 최대 36개 타일과 32프레임의 고해상도 데이터에 더해, 사람이 직접 주석한 1400만 샘플로 지도 미세조정을 한다. 종이를 어느 방향으로 접는지 같은 세밀한 질문과, 개의 행동을 프레임마다 짚어 준 이벤트 타임스탬프 주석이 여기 포함되며, 이 데이터가 성능을 끌어올린 결정적 요소다.

주요 인사이트

• '개방형'의 기준은 가중치 공개가 아니라 학습 데이터의 출처다. 폐쇄형 모델이 만든 라벨로 배운 공개 모델은 결국 남의 출력을 흉내 낸 것이어서, 공개 연구가 스스로 쌓아 올릴 토대가 되지 못한다.
• 캡션을 텍스트 전용 LLM에 맡기고 이미지의 글자는 광학 문자 인식으로 넘겨주는 우회로가 인상적이다. 시각 모델 없이도 학습용 설명문을 만들 수 있음을 보여 준 셈이다.
• 합성 데이터에는 분명한 천장이 있다. 6470만 샘플을 쏟아부어도 어려운 영상 질의응답의 오류가 줄지 않았고, 결국 사람이 주석한 1400만 샘플이 들어간 뒤에야 벽이 뚫렸다.
• 주석 데이터를 여러 과제로 재활용한 설계도 눈여겨볼 만하다. 시점과 캡션이 함께 붙은 주석 하나를 캡션 보고 시점 맞히기, 시점 보고 캡션 쓰기 같은 여러 학습 과제로 바꿔 쓴다.
• 결과적으로 PLM은 비슷한 크기의 모델들과 견줄 만한 성능을 냈고, 이미지 캡셔닝과 어려운 지각 과제에서는 기존 최고 기록을 넘었다. 폐쇄형 데이터 없이도 최상위권에 닿을 수 있음을 보여 준다.

자주 묻는 질문

관련 AI 소식