BEiT 논문 리뷰 정리: 마스크 이미지 모델링과 비주얼 토큰, 자기지도학습 논쟁까지

핵심 메시지

• BEiT는 텍스트에서 성공한 BERT의 사전학습 방식을 이미지 영역으로 옮긴 연구로, 모델 구조 자체는 비전 트랜스포머를 그대로 쓴다.
• 이미지에는 텍스트와 달리 미리 정의된 어휘와 토크나이저가 없다는 점이 가장 큰 난관이었다.
• BEiT는 DALL-E에서 학습된 토크나이저의 비주얼 토큰을 예측 대상으로 삼아, 픽셀을 직접 맞히는 방식을 피했다.
• 무작위 대신 블록 단위로 패치를 가리는 마스킹을 써서 이미지 수준의 의미 있는 영역을 가린다.
• 발표자와 참석자들은 성능 향상의 상당 부분이 미리 학습된 토크나이저 덕분일 수 있다는 의문을 함께 제기했다.

쉽게 이해하기

이 영상은 논문 리뷰 스터디에서 BEiT(BERT Pre-Training of Image Transformers)를 발표한 기록이다. 발표자는 BEiT를 '텍스트에서 좋은 성능을 보인 BERT의 사전학습 방식을 이미지 영역에 적용한 논문'으로 요약하며, 백본은 비전 트랜스포머를 그대로 가져오고 달라진 부분은 학습 목표라고 짚는다. 핵심 난관은 이미지에 토크나이저가 없다는 점이다. 텍스트는 사전에 정의된 어휘와 토큰 아이디가 있어 일부 단어를 가린 뒤 맞히게 하면 되지만, 이미지 패치에는 그런 어휘집이 없고, 픽셀을 직접 예측하면 되지 않느냐는 대안에 대해 논문은 그 방식이 고주파의 세밀한 정보에 낭비되어 오히려 학습에 불리하다고 주장한다.

BEiT의 답은 이미지 생성 모델 DALL-E에서 쓰인 토크나이저를 그대로 빌려 오는 것이다. 인코더가 뽑은 잠재 벡터를 가장 가까운 코드북 항목에 할당하고 그 코드로 이미지를 복원하도록 학습해 두면, 코드북 자체가 이미지 정보를 담은 이산 표현이 된다. 할당 과정이 미분 가능하지 않아 소프트맥스 완화 기법을 쓴다는 설명도 덧붙는다. BEiT는 이렇게 얻은 비주얼 토큰을 정답으로 삼아, 가려진 패치가 어떤 토큰인지 맞히는 마스크 이미지 모델링을 수행한다.

마스킹 방식에도 손을 댔다. 패치를 무작위로 고르는 대신, 마스킹 블록의 크기와 종횡비를 표본으로 뽑아 블록 단위로 가리고 전체 이미지의 40퍼센트가 가려질 때까지 이 과정을 반복한다. 발표자는 이 블록 단위 마스킹 역시 텍스트 쪽에서 단어를 덩어리로 가리던 방식을 이미지로 옮겨 온 것이라고 설명한다.

결과는 준수했다. 자기지도학습으로 학습한 기존 트랜스포머 모델보다 이미지 분류 성능이 좋았고, 의미 분할 과제에서도 개선이 있었다. 레이블이 붙은 데이터로 한 차례 더 사전학습하는 중간 파인튜닝을 거치면 성능이 더 올라간다. 발표자가 가장 인상적으로 꼽은 것은 어텐션 맵이다. 어떤 주석도 주지 않고 자기지도학습만 했는데도 물체의 경계를 상당히 잘 잡아냈다. 증류 기반 모델과 비교했을 때 수렴 속도가 더 빨랐다는 점도 언급된다.

발표의 후반부는 비판과 토론이다. 제거 실험을 보면 블록 단위 마스킹을 빼도, 비주얼 토큰 대신 픽셀을 예측하게 해도 성능이 떨어지지만, 발표자는 오히려 토크나이저를 활용한 별도 설정의 결과가 꽤 높게 나온 점을 지적한다. 결국 향상의 대부분이 미리 학습된 토크나이저에서 온 것 아니냐는 의문이다. 참석자 중 한 명은 다른 자기지도학습 모델도 같은 토크나이저를 쓰면 비슷하게 좋아질 텐데 그 비교가 빠져 있다고 짚었고, 라벨을 만들어 주는 모델을 완성된 상태로 가져다 쓰는 것을 자기지도학습이라 부를 수 있느냐는 질문도 나왔다. 저자들은 토크나이저 학습 자체가 사람의 레이블을 쓰지 않으므로 자기지도라는 취지로 답했다고 한다.

주요 인사이트

• 이미지 사전학습의 진짜 문제는 '무엇을 정답으로 삼을 것인가'였다. BEiT는 그 답을 새로 만들지 않고, 이미 학습된 이산 표현을 빌려 오는 방식으로 우회했다.
• 발표자는 이 논문의 기여를 파격적인 발명이 아니라 잘 작동하던 요소들을 이미지 영역에 맞게 조합한 데 있다고 평가한다. 마스킹 전략도 토크나이저도 다른 연구에서 온 것이다.
• 주석 없이 학습했는데도 어텐션 맵이 물체 경계를 잡아낸다는 결과는, 표현 학습이 무엇을 배우고 있는지 보여 주는 설득력 있는 증거로 받아들여졌다.
• 핵심 부품을 외부에서 가져오면 성능 향상의 공을 어디에 돌려야 할지가 흐려진다. 비주얼 토큰을 왜 써야 하는지에 대한 설명이 부족하다는 것이 발표자의 가장 큰 아쉬움이었다.
• 픽셀 단위 복원이 불리하다는 논문의 전제는 이후 마스크 오토인코더 계열 연구가 픽셀 수준에서도 좋은 성능을 보이면서 설득력이 약해졌다는 지적도 토론에서 나왔다.

자주 묻는 질문

관련 AI 소식