MAE 논문 리뷰 정리 — 마스크드 오토인코더가 이미지의 75%를 가리고 학습하는 이유와 설계 선택

핵심 메시지

• MAE는 이미지 패치의 75%를 가리고 나머지로 원본을 복원하도록 학습한다. 텍스트를 다루는 BERT의 15%보다 훨씬 공격적인 비율이다.
• 이미지에서 마스킹을 크게 걸 수 있는 이유는 배경처럼 중복된 정보가 많아, 패치 하나를 지워도 주변에서 단서를 얻을 수 있기 때문이다.
• 마스크된 패치를 인코더에 넣지 않고 남은 25%만 통과시키는 비대칭 설계가 성능과 계산량 양쪽에서 이득을 냈다.
• 복원 타깃으로는 픽셀·패치별 정규화 픽셀·PCA·토크나이저 토큰을 모두 실험했고, 패치별로 정규화한 픽셀이 가장 좋았다.
• 선형 프로빙 성능은 대조 학습 기반 모델보다 낮지만, 파인튜닝을 조금만 풀어도 곧바로 역전한다는 점이 이 논문의 핵심 반론이다.

쉽게 이해하기

논문익는마을의 이번 리뷰는 카이밍 허가 쓴 Masked Autoencoders Are Scalable Vision Learners를 다룬다. 발표자는 이 논문이 설명보다 실험으로 결론을 내는 쪽에 가까워 서술이 많지 않다고 먼저 말한다. 배경은 오토인코더에서 출발한다. 입력이 인코더를 지나 더 작은 차원으로 압축된 뒤 디코더에서 원본으로 복원된다면, 그 작은 차원이 원본의 정보를 잘 담고 있다는 뜻이고 표현이 잘 학습된 것으로 본다는 설명이다.

마스킹 방식의 계보도 정리된다. 자연어 처리에서 BERT는 문장 속 단어 일부를 가린 뒤 이를 맞히는 방식으로 대용량 사전학습 모델을 만들었다. 비전으로 넘어오면 이미지를 패치로 쪼개야 하고, 무엇을 예측 대상으로 삼을지가 문제가 된다. BEiT는 DALL·E에서 쓰인 모델로 패치를 토큰화한 뒤 그 토큰을 맞히는 방식을 택했고, MAE는 같은 문제를 픽셀 복원으로 푼다는 점에서 갈린다.

마스킹 비율은 이 논문에서 가장 눈에 띄는 선택이다. 랜덤·블록·그리드 세 가지 전략을 비교한 끝에 무작위로 75%를 가리는 방식이 파인튜닝과 선형 프로빙 양쪽에서 가장 좋았다. 발표자는 사람이 봐도 형태를 겨우 알아볼 정도로 많이 가린 상태에서 복원이 이 정도로 되는 것 자체가 놀랍다고 평한다. BERT가 15%, BEiT가 40%를 가린 것과 비교하면 격차가 크다.

구조상의 차이도 성능에 직결됐다. BEiT가 마스크 토큰까지 인코더에 넣은 것과 달리 MAE는 마스크된 패치를 빼고 남은 25%만 인코더에 통과시키는데, 마스크를 함께 넣었을 때보다 성능이 더 좋았고 계산량도 크게 줄었다. 디코더는 의도적으로 얕게 구성했으며 토큰당 계산량이 인코더의 10%에도 못 미친다. 손실은 마스크된 부분에만 걸어, 원래 보이던 영역은 복원 품질이 떨어져도 학습에 반영하지 않는다.

실험 결과 해석에서 발표자는 선형 프로빙이라는 평가 지표 자체에 의문을 제기한다. MAE는 대조 학습 기반의 MoCo v3보다 선형 프로빙 점수가 낮게 나오지만, 인코더 마지막 블록 하나만 풀어 함께 학습시키는 순간부터 끝까지 앞선다. 어차피 실사용은 파인튜닝이므로 이쪽이 더 중요하다는 것이 논문의 주장이고, 표현이 잘 학습됐는지를 마지막 선형 매핑만으로 재는 관행이 타당하냐는 물음이 함께 남는다.

주요 인사이트

• 언어와 이미지의 정보 밀도 차이가 마스킹 비율을 가른다. '나는 집에 간다'에서 '집'을 지우면 복원이 어렵지만, 이미지에서 배경 패치 하나를 지우면 주변 배경에서 얼마든지 단서를 얻을 수 있다.
• 마스크 토큰을 인코더에서 제외한 선택은 성능 개선과 계산 절감이 동시에 따라온 드문 경우다. 입력의 25%만 처리하므로 연산량이 줄고, 실험에서는 성능까지 더 좋았다.
• 복원 결과에서 원래 보이던 영역의 화질이 나쁜 것은 결함이 아니다. 손실을 마스크된 부분에만 걸었기 때문에 나타나는 의도된 현상이며, BERT가 마스크된 토큰에만 손실을 주는 방식과 같다.
• 타깃 표현을 픽셀에서 토크나이저 토큰으로 바꿔도 성능 차이는 크지 않았다. 그렇다면 DALL·E 계열 토크나이저를 별도로 학습시키고 대량의 데이터를 추가로 쓰는 비용을 감수할 이유가 약해진다.
• 논문 전체가 실험으로 설계를 결정하는 방식이라, 각 선택의 이유를 이론적으로 설명하는 부분은 상대적으로 적다는 점이 리뷰어의 총평이다.

자주 묻는 질문

관련 AI 소식