알렉스넷(AlexNet)이 AI의 방향을 바꾼 이유: 임베딩 공간의 발견과 설명 가능성의 상실

핵심 메시지

• 2012년 알렉스넷은 새로운 아이디어가 아니라 1980년대의 낡은 신경망 아이디어를 데이터와 연산량으로 밀어붙인 결과였다.
• 첫 층의 96개 커널은 아무도 알려주지 않았는데도 모서리와 색 덩어리를 검출하도록 스스로 학습했고, 5번째 층에서는 이미지넷에 '사람' 클래스가 없는데도 얼굴에 강하게 반응하는 특징이 나타났다.
• 마지막 직전 층의 4096차원 벡터는 단순한 계산 결과가 아니라 의미가 담긴 좌표였다. 픽셀값이 전혀 달라도 같은 개념의 이미지는 이 공간에서 서로 가까이 놓인다.
• 이 임베딩 공간은 거리뿐 아니라 방향에도 의미가 있어서, 얼굴 이미지를 나이나 성별 방향으로 밀어 바꾸는 데모가 가능해졌다.
• 성능이 오를수록 설명은 어려워졌다. 알렉스넷이 6천만 개였던 파라미터는 오늘날 1조 개를 훌쩍 넘겼고, 모델이 배운 개념 중에는 우리가 이름조차 붙이지 못한 것이 훨씬 많다.

쉽게 이해하기

알렉스넷은 2012년 8쪽짜리 논문으로 발표돼 컴퓨터 비전 학계를 충격에 빠뜨렸다. 그해 이미지넷 대규모 시각 인식 대회에서 큰 격차로 우승했는데, 전년도 우승팀이 SIFT처럼 전문가들이 수년에 걸쳐 설계한 영상 분석 기법들을 조합해 쓴 것과 달리 알렉스넷은 동작의 대부분을 데이터에서 학습한 인공신경망이었다. 이 논문의 2저자 일리야 수츠케버는 이후 오픈AI 공동창업자가 되어, 같은 아이디어를 훨씬 큰 규모로 확장한 챗GPT를 만드는 데 참여한다.

오늘날의 챗GPT를 열어봐도 지능처럼 보이는 장치는 없다. 트랜스포머라 불리는 계산 블록이 층층이 쌓여 있고, 각 블록은 입력 행렬에 정해진 행렬 연산을 수행해 같은 크기의 행렬을 돌려줄 뿐이다. 이 과정을 GPT-3.5는 96번, GPT-4는 알려진 바로 120번 반복하며, 다음에 내놓을 단어 조각은 사실상 마지막 출력 행렬의 마지막 열을 다시 텍스트로 되돌린 것이다. 그 결과를 입력 끝에 붙여 다시 넣기를 종료 신호가 나올 때까지 되풀이한다.

알렉스넷의 앞 다섯 층은 합성곱 블록이다. 커널이라는 작은 가중치 덩어리를 이미지 위로 훑으며 내적을 계산하는데, 내적은 커널과 이미지 조각이 얼마나 닮았는지를 나타내는 유사도 점수로 볼 수 있다. 첫 층에는 11×11×3 크기 커널이 96개 있어 작은 RGB 이미지처럼 눈으로 볼 수 있는데, 여기서 각도별 모서리 검출기와 색 덩어리 검출기가 또렷하게 나타난다. 이 커널들은 모두 난수로 시작했고, 그 패턴은 전적으로 데이터에서 학습된 것이다.

두 번째 층부터는 눈으로 보기가 어려워진다. 커널의 깊이가 들어오는 데이터의 깊이와 같아야 하는데, 첫 층이 96개의 활성화 맵을 내놓으므로 두 번째 층은 사실상 96개 색 채널짜리 이미지를 처리하는 셈이기 때문이다. 그래서 대신 어떤 이미지 조각이 특정 활성화를 강하게 일으키는지를 찾아본다. 2층에서는 모서리 검출기들이 합쳐져 기본적인 모서리 꼭짓점이 만들어지고, 5층에 이르면 얼굴에 아주 강하게 반응하는 활성화 맵이 나타난다. 이미지넷에는 사람이나 얼굴이라는 분류 항목이 아예 없는데도 모델이 스스로 얼굴이 중요하다는 것과 얼굴을 알아보는 법을 함께 배운 것이다.

논문에서 특히 중요한 발견은 마지막 직전 층의 4096차원 벡터였다. 이미지 한 장은 이 공간의 한 점으로 옮겨지고, 점 사이의 거리를 잴 수 있다. 힌턴 팀은 시험 이미지의 벡터와 가장 가까운 이웃 이미지들을 찾아봤는데, 코끼리 사진의 이웃은 모두 코끼리였다. 흥미로운 점은 그 이미지들의 픽셀값 자체는 서로 크게 다르다는 것이다. 이런 공간을 잠재 공간 또는 임베딩 공간이라 부르며, 이후 연구에서는 거리뿐 아니라 방향에도 의미가 있다는 사실이 밝혀졌다.

2012년의 결정적 차이는 아이디어가 아니라 규모였다. 이미지넷은 130만 장이 넘는, 당시로서는 가장 큰 라벨 데이터셋이었고 엔비디아 GPU 덕분에 힌턴 팀은 15년 전 얀 르쿤이 쓰던 것의 약 1만 배에 달하는 연산 능력을 손에 넣었다. 르쿤의 LeNet-5가 학습 파라미터 6만 개 수준이었다면 알렉스넷은 그 1000배인 6천만 개였고, 오늘날 챗GPT는 1조 개를 훌쩍 넘겨 알렉스넷보다 1만 배 이상 크다. 이 규모가 지금 AI의 성능과, 동시에 그것이 왜 작동하는지 이해하기 어려운 근본적인 난점을 함께 만들어냈다.

주요 인사이트

• 알렉스넷의 교훈은 '새 알고리즘이 이겼다'가 아니라 '오래된 알고리즘이 충분한 데이터와 연산을 만나자 이겼다'는 쪽에 가깝다. 이언 굿펠로의 지적처럼 1980년대 기법은 이미 잘 작동했지만, 2006년 무렵까지는 실험해 볼 하드웨어가 없어 그 사실이 드러나지 않았을 뿐이다.
• 모델이 사람이 정의하지 않은 개념을 스스로 만들어낸다는 점이 핵심이다. 이미지넷에 얼굴 클래스가 없는데도 얼굴 검출기가 생겼다는 것은, 라벨이 아니라 과제를 푸는 데 필요한 구조가 학습된다는 뜻이다.
• 임베딩 공간의 원리는 이미지와 언어에서 똑같이 나타난다. 단어와 단어 조각도 의미가 비슷하면 가까운 벡터로 옮겨지고, 방향이 의미를 갖기도 한다.
• 앤트로픽의 최근 연구는 활성화 묶음을 개념에 대응시키면 모델 동작을 바꿀 수도 있음을 보여줬다. '금문교'에 해당하는 활성화를 높은 값으로 고정하자 모델이 스스로를 금문교라고 말하기 시작했다.
• 액티베이션 아틀라스 같은 시각화는 아름답지만 어디까지나 초고차원 공간을 2차원으로 눌러 담은 그림이다. 우리의 공간 감각이 통하지 않는 곳에서 벌어지는 일을 본다는 한계를 잊지 않아야 한다.

자주 묻는 질문

관련 AI 소식