세상에서 가장 작은 트랜스포머 모델로 배우는 임베딩과 다음 단어 예측의 작동 원리

핵심 메시지

• 트랜스포머는 단어를 공간에 잘 배치하는 '이해자(임베딩)'와, 그 공간에서 방향을 골라 다음 단어를 확률로 예측하는 '화자'라는 두 역할로 단순화할 수 있다.
• 신경망은 데이터에 큰 경계를 긋는 대신 공간 자체를 구부려, 어떤 방향으로 얼마나 치우쳤는지로 '스펙트럼' 형태의 답을 낸다.
• 은닉층의 크기는 데이터가 본래 가진 차원 수에 맞춰야 한다 — 너무 작으면 언더피팅, 너무 크면 오버피팅이며 조금 넉넉한 '골디락스' 지점이 좋다.
• 신경망이 하는 첫 번째 일은 단어를 좌표로 바꾸는 임베딩을 만드는 것이며, 그 좌표축이 곧 데이터의 의미 있는 속성을 담는다.

쉽게 이해하기

루이스 세라노는 트랜스포머 3부작 중 두 번째 영상에서 '세상에서 가장 작은 트랜스포머'를 직접 만들어 보이며 개념을 풀어낸다. 복잡한 아키텍처 도식(임베딩·위치 인코딩·어텐션·소프트맥스) 대신, 그는 트랜스포머를 두 캐릭터의 역할로 단순화한다. 데이터를 잘 이해해 공간에 배치하는 '이해자'(뚱이, 임베딩)와, 그 배치를 받아 말을 만드는 '화자'(스폰지밥, 다음 단어 예측)다.

먼저 신경망의 직관을 이미지로 설명한다. 고양이와 아닌 것을 나누는 신경망은 거대한 경계선을 긋는 대신 공간을 구부려 고양이를 한쪽에 모으고, 어떤 방향을 가리켜 '얼마나 고양이인가'를 0~100%의 스펙트럼으로 답한다. 언어도 똑같다. 단어들이 공간에 흩어져 있고, 특정 단어에 대해 한 방향을 고르면 그 방향에 가까운 단어일수록 다음에 그 단어가 나올 확률이 높다. 예컨대 'store' 방향에 가까운 apple·candy·appliance는 store를 잘 만들어 낸다.

초소형 모델의 세계는 극단적으로 작다. 등장 문장은 단 둘 — 'Mary greeted Bob'과 'Bob ignored Mary' — 이고 단어는 Mary, Bob, greeted, ignored 넷뿐이다. 신경망의 임무는 어떤 단어를 넣으면 다음 단어를 내놓는 것이다. 이 데이터는 단순해 보여도 깊다. 사람 둘과 동사 둘이 있고, 친절/불친절이라는 속성이 있으며, 친절한 사람 뒤엔 친절한 동사가, 친절한 동사 뒤엔 불친절한 사람이 오는 규칙이 숨어 있다.

아키텍처는 입력 4개(단어 수) – 은닉 2개 – 출력 4개다. 은닉층을 왜 2로 잡았을까? 데이터가 본질적으로 2차원이기 때문이다. 하나의 축은 '사람 대 동사', 다른 축은 '친절 대 불친절'이라 데이터가 정사각형 모양이 된다. 1차원은 정사각형을 선에 욱여넣는 격이라 언더피팅이고, 반대로 차원이 너무 크면 데이터가 넓은 공간에서 길을 잃는 오버피팅이 된다. 세라노는 실전에서는 딱 맞는 크기보다 조금 넉넉하게(예: 10개 노드) 잡길 권한다. 언더피팅은 되돌릴 수 없지만 오버피팅은 정규화·드롭아웃으로 완화할 수 있기 때문이다.

은닉층에 담긴 값을 그려 보면 네 단어가 정사각형의 꼭짓점에 놓인다. 예를 들어 Mary는 (1, 1), Bob은 (1, -1) 같은 좌표를 얻는데, 이것이 바로 임베딩이다. 마지막으로 '화자'는 이진 답이 아니라 확률(스펙트럼)을 내야 한다. 그래야 대부분은 'Mary greeted', 'Bob ignored'를 말하면서도 가끔 'Bob greeted' 같은 변주가 나오는 확률적 모델이 된다. 단순한 룩업 테이블이라면 신경망을 훈련할 이유가 없다는 것이다. 영상에는 직접 돌려 볼 수 있는 코드랩이 함께 제공된다.

주요 인사이트

• 임베딩은 신경망이 가장 먼저 하는 일이며, 그 좌표축은 우연이 아니라 데이터의 의미 있는 속성(여기서는 사람/동사, 친절/불친절)에 대응한다.
• 은닉층 크기 선택은 곧 아키텍처 결정이다. 데이터가 실제로 몇 차원인지를 보고, 그보다 작지 않게 잡되 조금 여유를 두는 것이 실전 감각이다.
• 언더피팅은 파라미터가 데이터의 자연스러운 차원보다 적어 손쓸 방법이 없는 상태라 반드시 피해야 하고, 애매하면 오버피팅 쪽이 낫다.
• 다음 단어 예측을 확률로 두는 이유는 결정론적 룩업 테이블을 피하고 자연스러운 변주(때로는 엉뚱한 생성)를 허용하기 위해서다.
• 이번 편은 임베딩까지 다루고, 3부작의 마지막 편에서 이 작은 트랜스포머에 어텐션 메커니즘을 더한다.

자주 묻는 질문

관련 AI 소식