비전 언어 모델 학습 레시피 정리: 사전학습·중간학습·미세조정이 바꾼 컴퓨터 비전 8년

핵심 메시지

• 자기지도 사전학습은 방법마다 결과가 제각각이었고, 사전학습 점수와 실제 downstream 성능 사이에 상관관계가 거의 없었다.
• 모델 크기·데이터 양·학습 시간 세 가지를 동시에 한 자릿수씩 키워야 대규모 사전학습의 효과가 드러난다.
• 영어 위주로 학습 데이터를 걸러내면 벤치마크 점수는 올라가지만 모델이 세계의 절반을 못 보게 된다.
• 이미지 인코더와 언어 모델을 붙인 뒤 '중간학습'으로 OCR·위치 파악 같은 기본 기량을 심어 주는 것이 요즘 표준 절차다.
• 순수 인식 과제라면 잘 학습된 공개 모델에 수백 개 예시만 미세조정해도 충분하고, 남은 난제는 추론과 계획이다.

쉽게 이해하기

ETH 취리히의 로봇 학습 강의에 초청된 강연자는 자신을 '비전을 고치러 간 로봇 연구자'로 소개했다. 비전문가도 로봇에게 원하는 일을 가르칠 수 있으려면 튼튼하고 일반적인 인식 능력이 먼저 필요한데, 8년 전만 해도 그 인식이 전혀 작동하지 않았다는 것이다. 그래서 그는 다양한 시각 과제를 모아 놓고 소수 예시만으로 얼마나 잘 적응하는지 재는 벤치마크부터 만들었다고 설명했다.

초기에는 라벨 없이 배우는 자기지도 학습이 유행이었다. 여러 방법을 직접 재구현해 비교해 보니 일관되게 앞서는 방법은 없었고, 사전학습 단계에서 잘하는 모델이 실제 과제로 옮겼을 때도 잘한다는 보장은 더더욱 없었다. 다만 어느 방법이든 모델을 키우면 나아졌고, 라벨이 붙은 예시를 아주 조금만 사전학습에 섞어도 전이 성능이 크게 좋아졌다. 이 실험이 지도 학습 기반 대규모 사전학습으로 방향을 트는 계기가 됐다.

규모를 키우는 일에는 인내가 필요했다. 데이터만 열 배 늘리면 오히려 성능이 떨어지고, 학습 시간까지 함께 열 배씩 늘려야 비로소 효과가 나타난다. 8 GPU-주 구간만 보면 곡선이 평평해 실험을 중단하고 싶어지지만, 8 GPU-달까지 밀어붙이면 성능이 뚜렷하게 올라갔다는 그래프를 그는 자신이 가장 좋아하는 그림으로 꼽았다. 하이퍼파라미터도 초반 곡선만 보고 자르면 결국 더 좋아질 설정을 먼저 버리게 된다.

데이터의 성격도 바뀌었다. 예전에는 사람이 클래스 목록을 정하고 그에 맞는 사진을 모았고, 오래 쓰인 한 데이터셋의 80개 클래스는 연구자가 자기 아이에게 '떠오르는 물건'을 물어 만든 목록이었다. 이미지와 웹 텍스트 쌍을 그대로 학습하는 대조 학습이 이 한계를 풀었지만, 이번에는 영어·북미 중심으로 데이터를 거르는 관행이 문제가 됐다. 강연자는 필터링된 모델이 테헤란의 탑을 토론토의 탑으로 답하는 사례를 들며, 벤치마크 점수를 위해 세계의 다양성을 버리지 말라고 커뮤니티를 설득해 왔다고 말했다.

지금의 표준 절차는 사전학습 → 중간학습 → 미세조정이다. 중간학습에서는 이미지 인코더와 언어 모델을 이어 붙인 뒤, 캡션 생성·글자 읽기·물체 위치 찾기처럼 나중에 쓰일 기본 기량을 데이터 혼합으로 심는다. 그 자체로는 사용자에게 쓸모없어 보이는 과제라도 모델에 기량을 남기며, 해상도나 영상 길이처럼 사전학습에서 못 키운 축을 이 단계에서 늘린다. 그다음 미세조정에서는 학습하지 않은 조합까지 기량이 옮겨 가는 현상도 나타난다.

주요 인사이트

• 대조 학습만으로는 '고양이가 개 왼쪽에 앉아 있다' 같은 관계를 배우지 못한다. 같은 배치 안에 반례 이미지가 있어야 하는데 웹 데이터에서 그런 우연은 거의 없기 때문이며, 캡션을 직접 생성하게 하는 손실을 더하면 이 결함이 해소된다.
• 벤치마크를 의심하라는 조언이 강연의 핵심으로 제시됐다. '말이 풀을 먹는다'와 '풀이 말을 먹는다' 중 고르는 문항처럼 이미지를 보지 않아도 풀리는 문제가 섞여 있었고, 이미지를 아예 보지 않는 모델로도 높은 점수가 나왔다.
• '비전 언어 모델은 눈이 멀었다'는 실험 결과에 대해 강연자는 능력이 없는 것이 아니라 처음 보는 과제 형식을 이해하지 못하는 것이라고 봤다. 선 교차 개수를 세는 과제에 128개 예시만 미세조정하자 정확도가 95% 이상으로 올라갔다.
• 배포 단계에서는 증류가 중요하다고 강조했다. 크게 키워 성능을 확보한 뒤 필요한 지연 시간에 맞춰 작은 모델로 옮기는 방식이며, 학습 비용은 비싸지만 로봇이나 실시간 환경에서 실제 사용 가능 여부를 가르는 단계다.
• 인코더를 얼려 둔 채 쓰는 비전 언어 모델은 대조 학습에서 생긴 한계를 끝내 회복하지 못한다는 점도 지적됐다. 위치나 관계를 다루는 과제일수록 차이가 커진다.

자주 묻는 질문

관련 AI 소식