TCL 논문 리뷰: 비전-언어 사전학습에 모달리티 내부 대조와 지역 정보를 더한 이유

핵심 메시지

• 이미지와 문장을 짝지어 가깝게 만드는 교차 모달 정렬만으로는 부족하다. 같은 모달리티 안에서 비슷한 입력끼리 가까이 있는지는 보장되지 않기 때문이다.
• TCL은 기존 구조를 그대로 두고 손실 두 가지를 더한다. 같은 모달리티 안에서의 대조 학습과, 전체 요약과 지역 정보 사이의 상호정보량 최대화다.
• 지역 정보를 챙기는 이유는 대표 토큰 하나에 담기는 전역 정보가 세부를 놓치기 때문이다. 사진 속 인물이 쓴 모자의 색 같은 정보는 캡션에도 없고 전역 요약에도 남지 않는다.
• 웹에서 긁어온 학습 데이터는 짝이 어긋나거나, 오답으로 분류된 문장이 사실 맞는 설명인 경우가 있다. 이를 완화하려고 별도의 모멘텀 모델이 만든 부드러운 정답을 함께 학습한다.
• 실험에서는 손실을 하나씩 더할 때마다 성능이 올랐고 셋을 모두 쓸 때가 가장 좋았다. 다만 훨씬 큰 데이터로 학습한 모델과의 비교는 데이터 규모 차이를 감안해야 한다고 발표자는 짚었다.

쉽게 이해하기

국내 논문 스터디 세미나에서 다룬 이 발표는 2022년 컴퓨터 비전 학회에 나온 삼중 대조 학습 논문을 소개하면서, 비전-언어 사전학습 시리즈의 마지막 회차답게 그동안의 계보를 먼저 정리한다. 큰 흐름은 분명하다. 자기지도 방식으로 대규모 사전학습을 한 뒤 목적에 맞게 미세조정하는 전략이 비전과 언어 각각에서 성공했고, 이를 두 모달리티에 함께 적용해보자는 시도가 비전-언어 사전학습이다.

발표자는 기존 연구를 세 갈래로 나눈다. 첫째는 이미지와 텍스트에 각각 별도의 인코더를 두고 두 임베딩을 대조 학습으로 정렬하는 방식으로, 정렬은 잘 되지만 두 모달리티가 서로 섞여 상호작용하는 단계가 없다는 것이 한계다. 둘째는 두 입력을 하나의 인코더에서 융합하는 방식인데, 이미지 쪽을 객체 검출기로 처리하다 보니 검출기가 아는 범주 안에 갇히고 무엇보다 서로 다른 임베딩 공간의 값을 정렬 없이 섞어버린다. 셋째는 객체 검출기를 걷어내고 패치 임베딩이나 시각 사전을 쓰는 방식인데, 이번에는 정렬 과정 자체가 사라진다.

이 셋의 장점을 합친 것이 바로 앞 세대인 '융합 전에 정렬한다'는 접근이다. 이미지와 텍스트를 먼저 대조 학습으로 같은 공간에 정렬한 뒤 교차 어텐션을 쓰는 멀티모달 인코더에서 융합하는데, 자기 어텐션이 같은 임베딩에서 질의와 키와 값을 모두 가져오는 것과 달리 교차 어텐션은 질의가 한쪽 모달리티에서 오고 키와 값은 다른 쪽에서 온다. 여기에 모멘텀 모델이 더해진다. 웹에서 긁어온 데이터는 이미지와 캡션의 짝이 잘 맞는다는 보장이 없고 오답으로 뽑은 문장이 사실은 맞는 설명일 수도 있어서, 학습 중인 모델의 이동평균으로 만든 별도 모델이 내놓는 부드러운 정답을 함께 맞추도록 학습한다. 발표자는 이것이 결과적으로 데이터 증강과 비슷한 효과를 낸다고 설명한다.

이번 논문은 이 구조를 거의 그대로 쓰면서 손실 두 개를 추가한다. 하나는 같은 모달리티 안에서의 대조 학습으로, 같은 이미지에 서로 다른 무작위 증강을 준 두 결과가 가까워지도록 하고 텍스트도 학습 과정의 무작위성에서 오는 최소한의 차이를 이용해 같은 방식으로 처리한 뒤 두 손실을 평균 낸다. 다른 하나는 지역 정보를 챙기는 손실이다. 지금까지는 문장이나 이미지 전체를 대표하는 토큰만 썼는데 이 토큰은 전역 정보를 담고 있어 세부를 놓치므로, 전역 요약과 각 패치, 각 토큰의 지역 정보 사이의 상호정보량도 함께 최대화한다. 최종 손실은 이 셋을 모두 더한 형태다.

실험은 널리 쓰이는 이미지-텍스트 데이터셋 네 종을 합쳐 학습하고, 대규모에서도 통하는지 보려고 대형 데이터셋을 더해 총 1,500만 쌍 규모까지 늘려 진행했다. 평가 과제는 이미지와 문장을 서로 찾아오는 검색, 이미지 기반 질의응답, 이미지와 문장의 함의 판단, 그리고 이미지 두 장과 한 문장의 관계를 맞히는 과제인데 발표자는 마지막 과제를 두고 사람이 봐도 헷갈려 한참 생각해야 하는 어려운 문제라고 평했다. 결과를 보면 정렬 과정이 없던 이전 방식보다 확실히 좋아졌고 구조가 가장 비슷한 직전 모델보다도 개선돼 모달리티 내부 대조 학습의 효과가 확인됐다. 다만 미세조정 결과에서 더 앞서는 모델은 학습 데이터 규모가 압도적이라 단순 비교가 어렵다고 덧붙였고, 한계로는 학습에 쓴 데이터셋의 도메인에 결국 의존할 수밖에 없다는 점을 들었다.

주요 인사이트

• 짝을 맞추는 학습과 비슷한 것끼리 모으는 학습은 다른 문제다. 이미지와 그 설명을 가깝게 붙여놨다고 해서 비슷한 이미지 둘이 서로 가까이 놓인다는 보장은 없고, 이 틈이 표현 품질을 갉아먹는다.
• 캡션은 이미지를 완전히 설명하지 못한다. 사진에 담긴 모자 색이나 장신구 같은 세부는 문장에 등장하지 않기 때문에, 문장과의 정렬만으로 학습하면 그 정보는 표현에서 사라진다.
• 노이즈가 심한 웹 데이터에서는 '오답'이라는 꼬리표부터 신뢰하기 어렵다. 표현만 다르고 뜻은 같은 문장을 강제로 밀어내면 학습이 왜곡되므로, 부드러운 정답을 만들어주는 보조 모델이 완충 역할을 한다.
• 제거 실험에서 중간 계층을 쓰나 마지막 계층을 쓰나 큰 차이가 없었다는 결과가 흥미롭다. 계층에 따라 표현이 크게 달라지는 합성곱 신경망과 달리 트랜스포머는 그 편차가 작다는 기존 연구와 맞물린다.
• 성능 표를 읽을 때는 학습 데이터 규모를 함께 봐야 한다. 발표자가 특정 비교에서 상대 모델의 데이터가 압도적으로 많다는 점을 굳이 짚은 것도, 같은 조건이 아닌 수치를 나란히 놓는 것이 오해를 부르기 때문이다.

자주 묻는 질문

관련 AI 소식