비전 트랜스포머(ViT) 강의 정리: 이미지를 패치 토큰으로 자르는 이유와 CNN의 귀납 편향을 포기해 얻는 것

핵심 메시지

• 트랜스포머를 이미지에 쓰려면 먼저 이미지를 토큰으로 바꿔야 하는데, 픽셀 색상값은 연속적이라 단어처럼 사전에서 찾아볼 수가 없다.
• 초기 접근은 색상 표현을 줄여 픽셀 자체를 토큰으로 삼았지만, 입력 길이가 변의 제곱으로 늘고 어텐션은 그 제곱에 비례해 비용이 폭증한다.
• 실용적 해법은 이미지를 패치로 자른 뒤 선형 층으로 곧장 임베딩하는 방식이며, 패치가 곧 토큰 역할을 한다.
• 합성곱 신경망은 지역성과 평행이동 등변성이라는 가정을 미리 심어두지만, 비전 트랜스포머는 이런 가정이 거의 없어 데이터에서 직접 배워야 한다.
• 그래서 데이터가 적으면 합성곱 신경망이 앞서고 데이터가 아주 많아지면 비전 트랜스포머가 역전하는, 뚜렷한 맞바꿈이 나타난다.

쉽게 이해하기

강의는 트랜스포머 블록의 구조를 다시 훑는 데서 시작한다. 각 블록은 어텐션과 다층 퍼셉트론으로 이뤄지고 그 사이에 잔차 연결이 놓인다. 어텐션은 각 임베딩을 질의·키·값으로 사영한 뒤 질의와 모든 키를 비교하는 데이터베이스 조회에 가깝지만, 하나만 골라 복사하는 대신 확률 분포를 만들어 가중 평균을 취한다는 점이 다르다.

문제는 이 구조를 이미지로 옮길 때 생긴다. 문장은 단어를 인덱스로 바꾸고 사전에서 벡터를 찾아오면 되지만, 픽셀의 색상값은 연속값이라 무한한 사전이 필요해진다. 색을 8단계로 줄여 어휘 크기를 512로 낮추는 우회가 가능하긴 하나, 이번에는 길이가 발목을 잡는다. 256x256 이미지는 토큰이 6만 5천 개가 되는데, 어텐션 비용이 길이의 제곱이라 감당할 수 없다.

이 때문에 초기 모델은 이미지를 64x64까지 줄여 자기지도 방식으로 다음 픽셀을 예측하도록 학습했다. 표현 자체는 훌륭해서, 사전학습된 표현 위에 아주 작은 선형 분류기만 얹어도 라벨이 적은 상황에서 높은 정확도가 나온다. 다만 68억 파라미터 모델을 V100 기준 2500일에 해당하는 연산으로 학습시켜야 했고, 그래서 강사는 이를 실용 기술이라기보다 개념 증명으로 평가한다.

더 현실적인 해법이 이미지를 16x16 패치로 자르는 방식이다. 픽셀을 양자화해 사전에서 찾는 대신 패치를 선형 층에 통과시켜 곧바로 임베딩으로 만들고, 여기에 위치 임베딩과 분류 토큰을 더한다. 사전학습은 낮은 해상도에서 하고 미세조정은 높은 해상도에서 하는 것이 보통인데, 이때 위치 임베딩 개수가 달라져 보간이 필요해진다.

강의의 결론은 귀납 편향을 둘러싼 맞바꿈으로 모인다. 합성곱은 커널 안에서만 픽셀이 상호작용하도록 제한하고 같은 가중치를 이미지 전역에 적용하는데, 이는 사람이 미리 넣어준 가정이다. 비전 트랜스포머는 첫 층부터 모든 토큰이 모든 토큰을 볼 수 있어 전역 수용 영역을 갖는 대신, 그런 가정을 데이터로 직접 배워야 한다. 실제로 사전학습 데이터가 적을 때는 합성곱 신경망이 낫고, 데이터가 충분히 커지면 순위가 뒤집힌다.

주요 인사이트

• 귀납 편향은 공짜가 아니라 예산이다. 사람이 가정을 심어주면 적은 데이터로도 잘 돌아가지만, 데이터가 충분해지면 그 가정이 오히려 천장이 된다.
• 어텐션 지도를 보면 초기 층에서도 멀리 떨어진 토큰을 실제로 참조한다. 전역 수용 영역이 이론적 가능성에 그치지 않고 학습 중에 활용된다는 뜻이다.
• 패치로 자르는 선택에는 대가가 따른다. 경계가 패치 단위로 뭉개지기 때문에 분할이나 세밀한 분류처럼 정밀도가 필요한 과제에서는 불리해진다.
• 모델 크기, 데이터 크기, 연산량 가운데 하나만 키우면 곧 한계에 부딪힌다. 강의가 인용한 실험은 셋을 함께 키워야 성능이 계속 오른다는 점, 그리고 큰 모델이 표본 효율도 더 좋다는 점을 보여준다.
• 데이터가 부족한 현실적 상황에서는 합성곱 블록을 앞단에 두어 긴 시퀀스를 먼저 줄이거나, 상대 위치에 따른 학습 가중치를 어텐션에 더해 편향을 되돌려주는 절충안이 쓰인다.

자주 묻는 질문

관련 AI 소식