UNITER 논문 리뷰 정리: 비전-언어 사전학습 네 가지 과제와 단어-영역 정렬 원리

핵심 메시지

• UNITER는 이미지 영역 특징과 문장 토큰을 하나의 트랜스포머에 함께 넣어 공통 표현을 학습하는 비전-언어 사전학습 모델이다.
• 모델 구조 자체는 단순하고, 논문의 핵심은 어떤 사전학습 과제를 조합했는지에 있다.
• 네 가지 과제는 단어 마스킹 예측, 영역 마스킹 예측, 단어-영역 정렬, 이미지-텍스트 매칭이다.
• 정답 라벨이 없는 영역 예측과 정렬 문제는 검출기 예측을 대체 정답으로 쓰거나 최적 수송으로 짝을 찾아 해결한다.
• 네 과제를 모두 넣었을 때 성능이 가장 좋았고, 특히 단어-영역 정렬은 일부 과제에서 뚜렷한 향상을 만들었다.

쉽게 이해하기

이 발표는 2020년 학회에 발표된 비전-언어 사전학습 논문 UNITER를 소개한다. 발표자는 같은 스터디에서 앞서 다룬 Oscar 논문과 겹치는 부분이 많아 이해하기 수월할 것이라고 운을 뗀다. 목표는 이미지와 텍스트를 각각 따로 다루는 대신, 두 종류의 입력이 같은 트랜스포머 안에서 서로를 참조하도록 만드는 것이다.

이미지 쪽 입력은 객체 검출기를 거쳐 얻은 영역 단위 특징을 사용한다. 검출기가 제안한 영역들이 풀링을 거쳐 같은 차원의 벡터가 되고, 여기에 위치 정보를 담은 7차원 벡터를 더한다. 트랜스포머 구조에는 순서 정보가 없기 때문에 위치 벡터가 이 역할을 대신한다. 두 벡터는 각각 변환을 거쳐 합쳐지고 정규화를 지나 하나의 이미지 특징이 된다.

텍스트 쪽은 익숙한 방식이다. 문장을 토큰으로 나눠 임베딩하고 위치 임베딩을 더한 뒤 정규화를 거쳐 텍스트 특징을 만들고, 이렇게 만들어진 이미지 특징과 텍스트 특징이 함께 트랜스포머에 입력된다. 발표자는 모델 부분이 비교적 간단하다며, 사전학습 논문인 만큼 학습 방법이 훨씬 중요하다고 강조한다. 실제로 첫 두 과제는 마스킹 예측이다. 단어의 15%를 가리고 맞히는 과제가 하나이고, 이미지 영역을 가리고 복원하는 과제가 다른 하나다. 영역 예측은 토큰 하나를 맞히는 문제와 달라 손실을 세 가지로 구성한다. 가린 자리에서 나온 출력을 사영해 원래 특징과 가까워지게 하는 회귀 손실, 그 영역이 어떤 객체인지 맞히는 분류 손실, 그리고 검출기의 예측 분포 자체를 따라가게 하는 증류 방식의 손실이다. 검출기 예측이 완벽한 정답이 아니라는 점을 보완하려는 장치다.

발표자가 논문의 가장 큰 기여로 꼽은 것은 단어-영역 정렬이다. 문장 속 특정 단어와 이미지 속 특정 영역이 서로 대응한다는 직관을 학습에 반영하는데, 여기에도 정답 짝이 주어지지 않는다는 문제가 있다. 논문은 최적 수송을 끌어와 이를 푼다. 한 분포를 다른 분포로 옮길 때 이동 비용이 가장 적은 계획을 찾는 문제로 보고, 단어와 영역 사이 코사인 거리를 비용으로 삼아 수송 계획 행렬을 구한 뒤 그 짝의 거리를 줄이는 방향으로 학습한다.

마지막 과제는 이미지와 문장이 서로 맞는 조합인지 판정하는 이미지-텍스트 매칭이다. 학습에는 다른 이미지의 설명을 붙인 부정 예시가 함께 쓰인다. 논문의 절제 실험에서는 네 과제를 모두 사용할 때가 가장 좋았고, 단어-영역 정렬을 넣었을 때 특정 하위 과제에서 확연한 향상이 있었다. 어텐션 시각화에서는 남자나 아이 같은 단어에 실제로 해당 인물 영역의 어텐션이 높게 잡혔다.

주요 인사이트

• 사전학습 논문의 성패는 구조보다 과제 설계에 있다는 점을 이 발표가 잘 보여준다. 발표자도 모델 설명은 짧게 끊고 학습 과제 설명에 대부분의 시간을 쓴다.
• 라벨이 없는 자리에 무엇을 정답으로 세울지가 반복해서 등장하는 문제다. 영역 분류는 검출기 예측을 하드 라벨로 쓰고, 정렬은 최적 수송이 찾아준 짝을 정답처럼 취급한다.
• 최적 수송을 정렬에 쓰는 발상은 거리가 가까운 쌍이 곧 의미가 통하는 쌍이라는 가정에 기대고 있다. 수송 계획 행렬에서 0이 아닌 자리만 학습에 반영되므로, 계산이 자연스럽게 유의미한 짝으로 좁혀진다.
• 발표자가 논문 설명만으로는 정렬 부분을 이해하기 어려워 공개된 코드를 직접 뜯어 예시 행렬을 확인했다는 대목은, 논문의 서술이 생략된 지점을 코드로 보완하는 실전적인 독법을 보여준다.
• 어텐션 시각화는 정량 지표가 아니지만, 모델이 단어와 영역을 실제로 연결했는지 눈으로 확인하게 해주는 보조 근거로 쓰인다.

자주 묻는 질문

관련 AI 소식