비전-언어 모델 강의 정리: CLIP 대조학습부터 CoCa·PaLI와 제미나이 응용까지 한 번에

핵심 메시지

• CLIP과 얼라인이 2021년 초 이미지와 텍스트를 하나의 임베딩 공간에 올리면서, 학습 때 본 적 없는 범주도 문장만 넣어 분류하는 개방형 어휘 방식이 열렸다.
• 대조학습에서는 부정 표본을 정교하게 고르는 기술보다 좋은 긍정 쌍을 확보하는 쪽이 표현 품질에 더 크게 기여한다는 것이 강연자의 실무 경험이다.
• CLIP은 이미지 전체와 캡션 전체를 평균해 비교하므로 세밀한 대응 관계를 잃는데, SPARC는 단어 토큰마다 관련 이미지 패치의 가중 평균을 학습해 이 간극을 메운다.
• CoCa와 PaLI로 이어지는 흐름은 손실 함수를 여러 개 덧붙이는 것보다 데이터 수집과 정제에 시간을 쓰는 편이 낫다는 교훈을 남겼다.
• 3년 반 만에 개방형 어휘 분류에서 시각장애인 보조 앱, 웹을 조작하는 에이전트, 사무실을 돌아다니며 추론하는 로봇까지 응용 범위가 넓어졌다.

쉽게 이해하기

동유럽 머신러닝 여름학교(EEML) 2024에서 구글 딥마인드의 요바나 미트로비치(Jovana Mitrović)가 비전-언어 모델을 한 시간짜리 강의로 정리했다. 그는 제미나이 프로젝트에 참여한 연구자다. 강의는 초기 이중 인코더 계열, 교차모달 모델, 그리고 실제 응용과 전망의 세 부분으로 나뉜다. 시작에 앞서 그는 이 분야에서 결정해야 할 것들부터 늘어놓는데, 두 양식을 어떤 구조로 인코딩할지, 언제 합칠지, 어떤 손실을 쓸지, 밑바닥부터 학습할지 사전학습 모델을 쓸지, 짝지어진 데이터를 쓸지가 모두 열린 선택지다.

이야기는 2021년 1월의 CLIP과 얼라인(ALIGN)에서 시작한다. 두 모델은 이미지와 텍스트를 각자의 인코더로 처리한 뒤 마지막에 손실 함수로만 만나게 하는 구조이며, CLIP의 기여는 웹에서 긁은 이미지-텍스트 쌍 4억 개라는 당시로서는 전례 없는 규모를 모으고 배치 안에서 어떤 캡션이 어떤 이미지에 속하는지 맞히는 대조학습 문제로 바꿔 푼 데 있다. 데이터가 지저분해도 규모가 충분하면 잡음을 다양성으로 상쇄할 수 있다는 판단이 깔려 있었다. 구현 세부도 만만치 않다. 임베딩은 L2 정규화해야 하고, 온도 파라미터는 탐색에 상당한 시간을 들여야 할 만큼 민감하며, 손실이 대칭이 아니라 이미지에서 텍스트로 또 그 반대로 두 항을 모두 계산해야 하고, 무엇보다 손실 계산에 배치 전체가 필요해 메모리가 배치 크기의 상한을 정한다.

여기서 강연자는 문헌의 통념과 다른 경험을 덧붙였다. 부정 표본 선택에 공을 들이기보다 더 좋은 긍정 쌍을 찾는 편이 낫고, 오히려 배치를 부분 표집해 의미가 비슷한 항목까지 억지로 밀어내지 않게 하는 편이 도움이 됐다는 것이다. 공유된 임베딩 공간은 그 자체로 새로운 응용을 열었다. 새 범주가 생기면 모델을 다시 손대지 않고 이름을 임베딩해 유사도만 비교하면 되는 개방형 어휘 분류가 대표적이고, 문장으로 이미지를 검색하거나 이미지 벡터에 '빨강'이라는 단어 벡터를 더해 레서판다를 찾아내는 산술 조작도 가능해졌다. 프롬프트 설계도 이때부터 중요해졌는데, CLIP 논문 기준으로 프롬프트를 다듬는 것만으로 이미지넷 정확도가 5%포인트 올랐다.

한계도 분명했다. 이미지 전체와 캡션 전체의 평균을 비교하다 보니 이미지의 2차원 구조와 단어 순서가 뭉개지고, 복잡한 장면의 세부는 표현에 남지 않는다. 강연자가 딥마인드 동료들과 함께 한 SPARC는 이 지점을 겨냥한다. 마지막 평균을 내기 직전 층에는 단어별 토큰 임베딩과 이미지 패치 임베딩이 남아 있으니, 단어 하나마다 어떤 패치가 얼마나 관련 있는지 유사도를 계산해 패치들의 가중 평균을 만들고 그것을 해당 단어 임베딩과 맞춰 학습시키되 전체 장면을 보는 기존 대조 손실도 함께 유지한다. 분할 정답 라벨은 전혀 쓰지 않고 단어 하나가 이미지 패치의 10% 정도에만 대응하도록 희소성을 강제하는 것이 요령인데, 그 결과 CLIP이 '말은 이 사진 어딘가에 있다' 수준으로 주의를 흩뿌릴 때 SPARC는 물체 윤곽을 짚어낸다.

강의 후반은 교차모달 모델과 응용으로 넘어간다. CoCa는 대조 손실에 캡션 생성 손실을 하나 더 붙인 단순한 설계로 분류부터 시각 질의응답, 캡셔닝까지 폭넓게 통하는 초기 파운데이션 모델이 됐지만 전부 밑바닥부터 학습해 비용이 컸고, PaLI는 반대로 사전학습된 모델을 재활용하되 비전과 언어를 함께 키워 총 170억 파라미터 중 40억을 비전 인코더에 할당했으며 과제별 분류 헤드 없이 프롬프트로 과제를 지정하고 100개가 넘는 언어를 다뤄 영어로 물으면 세르비아어로 답하는 동작까지 보여 준다. 강연자가 반복해 강조한 교훈은 모델에 손실과 장치를 계속 덧붙이면 학습 불안정과 버그만 늘어나므로 같은 시간을 데이터 수집과 정제에 쓰라는 것이다. 응용 사례로는 제미나이가 들어간 구글 룩아웃이 시각장애인에게 카메라 앞의 상황과 문서를 읽어 주며 대화를 잇는 모습, 딥마인드 사무실을 돌아다니는 로봇이 사진 속 정보를 근거로 냉장고 안 음료를 판단해 답하는 장면, 이미지로 주어진 주소를 읽고 웹을 조작해 주문까지 마치는 에이전트를 평가하는 비주얼 웹 아레나가 소개됐다. 강의는 하나의 모델이 실시간으로 소리 나는 물건을 찾고 코드를 읽고 동네를 알아맞히는 프로젝트 아스트라 영상으로 마무리됐다.

주요 인사이트

• 공유 임베딩 공간이라는 아이디어 하나가 개방형 어휘 탐지와 분할 같은 후속 연구를 통째로 만들어 냈다. 강연자가 '이 한 가지만 기억하라'고 반복한 이유이며, 실시간 탐지기에 CLIP 텍스트 인코더를 붙여 학습하지 않은 물체를 즉석에서 찾게 하는 방식도 같은 원리에서 나왔다.
• 부정 표본보다 긍정 쌍이 중요하다는 지적은 실무자에게 우선순위를 바꾸는 조언이다. 배치 안에는 서로 완전히 밀어내면 안 되는 의미적으로 비슷한 항목이 섞여 있으므로, 무조건 배치 전체를 부정 표본으로 쓰는 것이 최선은 아니다.
• SPARC가 분할 라벨 없이도 물체 위치를 짚어낸다는 점이 흥미롭다. 전역 대조 손실이 만들어 준 약한 초기 유사도에 희소성 제약을 걸어 신호를 증폭하는 구조로, 라벨링 비용 없이 세밀한 정합을 얻는 방법을 보여 준다.
• '복잡도를 모델이 아니라 데이터에 투자하라'는 조언은 여러 손실과 모멘텀 모델을 쌓아 성능을 짜내는 연구들을 겨냥한다. 강연자는 아키텍처를 바꿀 시간에 데이터를 열 배로 늘리는 쪽을 택하겠다고 분명히 말했다.
• 멀티모달 사전학습이 언제나 이기는 것은 아니다. 강연자는 단안 깊이 추정처럼 좁고 구체적인 과제라면 전용 구조를 쓴 단일 양식 모델이 여전히 낫다고 답하면서, 범용성이 필요할 때 비전-언어 모델을 고르라고 정리했다.

자주 묻는 질문

관련 AI 소식