오픈 보캐뷸러리 객체 탐지: 이미지-캡션 사전 학습으로 처음 보는 클래스까지 검출하는 방법

핵심 메시지

• 객체 탐지 모델을 학습시키려면 물체 위치를 네모로 표시한 주석이 필요한데, 이 작업에는 시간과 비용이 많이 든다. 발표에서 다룬 논문은 그 부담을 줄이는 방향의 연구다.
• 핵심 아이디어는 두 단계로 나누는 것이다. 먼저 인터넷에서 얻을 수 있는 이미지와 설명문 쌍으로 대량 사전 학습을 하고, 그다음에 상대적으로 적은 박스 주석 데이터로 탐지 과제에 전이한다.
• 사전 학습 단계에서는 이미지 특징을 미리 학습된 단어 임베딩 공간에 대응시키는 투영 층을 두고, 이미지 조각과 캡션 속 단어를 서로 짝짓는 그라운딩 학습을 수행한다.
• 실험에서 이 방식은 기존 제로샷 탐지는 물론 약지도 방식보다도 나은 성능을 보였고, 구성 요소를 하나씩 빼 본 분석에서는 그라운딩이 가장 큰 영향을 미치는 부분으로 나타났다.
• 발표자는 성능만큼이나 한계도 분명히 짚었다. 평가에 쓰인 대상 클래스가 사전 학습에 쓰인 캡션 안에 이미 등장했을 가능성이 크고, 그 부분에 대한 분석이 논문에 빠져 있다는 지적이다.

쉽게 이해하기

객체 탐지는 사진 속에서 무엇이 있는지 알아내는 것을 넘어 그것이 어디에 있는지까지 찾아내야 하는 과제다. 그래서 학습 데이터에 물체를 감싸는 네모 상자와 그 이름이 함께 붙어 있어야 하는데, 이 주석을 만드는 일이 만만치 않다. 발표자는 이 데이터 문제를 우회하려는 기존 시도로 두 가지를 소개했다. 하나는 학습에서 한 번도 보지 못한 종류를 맞히려는 제로샷 탐지이고, 다른 하나는 박스 없이 이미지 단위 이름표만으로 학습하는 약지도 탐지다. 둘 다 성능이 크게 떨어져 실제로 쓰기는 어려웠다.

이 논문이 택한 길은 조금 다르다. 웹에서 얻을 수 있는 이미지와 그에 딸린 설명문 쌍을 활용하는 것이다. 여기서 캡션은 단어 하나짜리 이름표가 아니라 장면을 서술한 문장이다. 이런 데이터로 먼저 폭넓게 사전 학습을 시킨 다음, 그 모델을 객체 탐지라는 더 세밀한 과제로 옮겨 붙인다. 발표자는 이 구조가 여러 분야 연구자들이 함께 정리한 기반 모델 개념과 같은 흐름에 있다고 설명했다. 큰 데이터로 폭넓게 학습한 모델을 다양한 하위 과제로 전이하는 방식이다.

사전 학습의 구조를 보면, 이미지 쪽은 이미지 인식용으로 미리 학습된 합성곱 신경망에서 격자 형태의 특징을 뽑고, 여기에 투영 층을 하나 얹어 그 특징을 미리 학습된 단어 임베딩 공간으로 옮긴다. 언어 쪽 임베딩을 새로 학습하지 않고 고정된 것을 기준 삼아 이미지 쪽을 끌어당기는 셈이다. 그런 다음 이미지 조각과 캡션 속 단어 사이의 대응 관계를 학습하는데, 어떤 조각이 어떤 단어에 해당하는지 알려 주는 정답이 따로 없기 때문에 가중치를 통해 부드럽게 짝을 짓는 방식을 쓴다. 같은 배치 안의 다른 캡션들을 부정 예시로 삼아, 맞는 쌍의 점수는 높이고 어긋난 쌍의 점수는 낮추는 식으로 학습이 진행된다.

여기에 더해 마스킹된 단어를 맞히는 과제와 이미지와 캡션이 서로 맞는 쌍인지 판별하는 과제를 함께 학습시킨다. 발표자는 이 보조 과제들이 대응 관계 학습을 안정적으로 수렴하게 돕는다는 것이 논문의 주장이라고 전했다. 이후 전이 단계에서는 영역 후보를 뽑는 신경망과 박스 위치를 다듬는 부분이 새로 붙고, 사전 학습에서 얻은 투영 층과 임베딩은 고정한 채로 탐지 과제를 학습한다. 이미지 조각 대신 후보 영역의 특징을 같은 임베딩 공간에 올려 놓고, 학습에 쓰인 클래스든 쓰이지 않은 클래스든 단어 임베딩과 견주어 확률을 계산하는 구조다.

평가는 코코 데이터셋을 써서 48개 기본 클래스로 학습한 뒤 거기 포함되지 않은 클래스들을 맞히는 방식으로 이뤄졌다. 발표자는 결과가 기존 제로샷이나 약지도 기반 방법보다 뚜렷하게 좋았다고 전하면서, 다만 이 비교가 완전히 공정하다고 보기는 어렵다고 덧붙였다. 캡션 데이터라는 추가 자원을 쓴 만큼 유리한 조건이기 때문이다. 구성 요소를 제거해 본 분석에서는 캡션 데이터를 아예 쓰지 않았을 때, 그리고 대응 관계 학습을 뺐을 때 성능이 크게 떨어졌고, 보조 과제를 뺐을 때는 하락 폭이 작았다.

주요 인사이트

• 이 접근의 실용적 가치는 데이터의 성격에 있다. 박스 주석은 사람이 일일이 그려야 하지만 이미지와 캡션 쌍은 웹에서 비교적 쉽게 모을 수 있어서, 구하기 쉬운 데이터로 구하기 어려운 과제의 성능을 끌어올린다는 점이 의미가 있다.
• 정답 대응표 없이도 이미지 조각과 단어가 서로 맞춰진다는 점을 발표자 스스로 신기하다고 표현했다. 어떤 조각이 어떤 단어와 짝인지 알려 주지 않았는데도 학습이 수렴한다는 것이 이 논문의 흥미로운 지점이다.
• 배경 처리는 이런 계열 연구의 공통된 난제다. 한 번도 보지 못한 종류일수록 배경으로 분류될 확률이 높아지기 때문에, 배경을 어떻게 다루느냐가 성능을 좌우한다는 설명이 나왔다.
• 평가의 신뢰도에 관한 지적이 중요하다. 사전 학습에 쓰인 캡션 안에 대상 클래스가 이미 등장했다면 완전히 처음 보는 것을 맞혔다고 말하기는 어려운데, 논문이 그 부분을 따로 분석하지 않았다는 점이 아쉬움으로 남았다.
• 발표자는 이후 연구들이 더 간결한 방향으로 갔다고 전했다. 언어와 이미지를 함께 학습한 모델의 지식을 옮겨 받는 방식이면 별도의 대응 관계 학습 없이도 되기 때문에 구조가 단순해진다는 것이다.

자주 묻는 질문

관련 AI 소식