워드투벡(Word2Vec) 단어 임베딩 원리: 원-핫 인코딩의 한계와 의미의 방향성

핵심 메시지

• 원-핫 인코딩은 단어를 벡터로 바꾸긴 하지만 모든 벡터가 서로 직교해 '왕'과 '여왕'의 거리가 '왕'과 '바나나'의 거리와 같아진다.
• 워드투벡은 '단어는 함께 나타나는 이웃으로 알 수 있다'는 분포 가설을 예측 게임으로 바꾼 모델이다.
• 스킵그램은 중심 단어로 주변 단어를 맞히고, CBOW 는 반대로 문맥으로 가운데 단어를 맞힌다.
• 좁은 은닉층이 단어를 짧고 밀집된 벡터로 압축하도록 강제하며, 학습이 끝나면 예측 장치는 버리고 그 벡터만 남긴다.
• 함께 등장한 단어들의 내적이 커지도록 학습되면서 의미의 유사성이 방향의 정렬로 바뀌고, 관계는 벡터 덧셈과 뺄셈으로 계산 가능해진다.

쉽게 이해하기

신경망이 할 수 있는 일은 결국 숫자 계산뿐인데, 언어의 재료인 단어는 기호다. 그래서 가장 먼저 풀어야 할 문제는 '왕'이라는 단어를 어떻게 숫자 목록으로 바꾸느냐다. 가장 단순한 답은 사전의 단어마다 자리를 하나씩 주고 해당 자리에만 1을 넣는 원-핫 인코딩이다. 형식적으로는 벡터가 맞지만, 모든 벡터가 서로 수직이라 왕에서 여왕까지의 거리와 왕에서 바나나까지의 거리가 정확히 같아진다. 서로 다른 단어라는 사실만 남고 의미는 통째로 사라진다.

그렇다면 의미는 어디서 오는가. 영상은 딥러닝보다 오래된 통찰을 꺼낸다. 단어는 함께 등장하는 이웃으로 알 수 있다는 것이다. 우리도 대부분의 단어를 정의로 배우지 않고 그 단어가 놓인 자리를 보며 익힌다. 문장 위로 작은 창을 밀며 각 단어의 이웃을 모아 보면 '왕이 왕좌에 앉았다'와 '여왕이 왕좌에 앉았다'처럼 두 단어가 거의 같은 이웃에 둘러싸여 있음이 드러난다. 문맥으로 벡터를 만들면 두 단어의 벡터도 자연히 가까워질 것이다.

워드투벡은 그 내기를 신경망이 실제로 할 수 있는 게임으로 바꾼다. 스킵그램은 중심 단어 하나를 넣고 주변 단어들을 맞히게 하고, CBOW 는 반대로 주변 문맥을 넣고 빠진 가운데 단어를 맞히게 한다. 어느 쪽이든 구조의 핵심은 입력과 전체 어휘에 대한 예측 사이에 놓인 수백 차원짜리 좁은 은닉층이다. 이웃을 잘 맞히려면 각 단어를 그 좁은 통로로 압축해야 하고, 학습이 끝나면 예측 장치는 버린 채 압축된 벡터만 챙긴다. 그것이 임베딩이다.

점수는 내적으로 매겨진다. 단어마다 벡터가 있고, 어떤 문맥 단어가 중심 단어와 어울리는 정도는 두 벡터의 내적으로 계산된다. 내적이 크다는 것은 둘이 함께 갈 만하다는 신경망의 판단이고, 소프트맥스가 이 점수들을 전체 어휘에 대한 확률로 바꾼다. 실제 문장에서 두 단어가 함께 나타날 때마다 학습은 둘의 내적이 커지도록 벡터를 밀고, 내적은 두 벡터가 같은 방향을 가리킬 때 커진다. 수십억 개의 사례를 지나면서 비슷한 이웃을 가진 단어들이 서서히 같은 방향으로 회전하고, 의미의 유사성이 방향의 정렬로 바뀐다.

여기서 아무도 설계하지 않은 구조가 나타난다. 왕·여왕·남자·여자 네 단어를 평면에 눌러 그려도, 남자에서 여자로 가는 화살표와 왕에서 여왕으로 가는 화살표가 거의 같은 방향과 길이를 가진다. 모델이 '여성형으로 바꾸기'에 해당하는 방향을 스스로 찾아낸 셈이다. 관계가 방향이 되면 산술이 가능해진다. 남자를 왕으로 바꾸는 화살표를 여자에서 출발시켜 그리면 거의 정확히 여왕에 도착한다. 왕에서 남자를 빼고 여자를 더하면 여왕이라는 유명한 식이 그렇게 성립한다. 오늘날의 대형 언어 모델도 무언가 똑똑한 일을 하기 전에 여전히 각 토큰을 이런 벡터로 바꾸는 일부터 시작한다.

주요 인사이트

• 원-핫 인코딩의 진짜 문제는 차원이 크다는 것이 아니라 모든 단어 쌍의 거리가 동일해 비교 자체가 불가능하다는 점이다.
• 임베딩은 학습의 목표가 아니라 부산물이다. 목표였던 예측 장치는 버려지고 중간 표현만 남는다는 점이 이 방법의 묘미다.
• 내적을 점수로 쓰는 선택이 곧 '의미의 유사성 = 방향의 정렬'이라는 결론을 만들어낸다. 평가 함수가 표현의 기하 구조를 결정한 사례다.
• 유추가 성립하는 이유는 관계가 특정 위치가 아니라 특정 방향으로 인코딩되기 때문이다. 방향은 어느 지점에서 출발해도 같은 변환을 뜻한다.
• 라벨을 사람이 붙이지 않고 원문 자체에서 예측 과제를 만들어낸다는 점에서, 오늘날 대형 모델 학습 방식의 원형이 이미 여기에 있다.

자주 묻는 질문

관련 AI 소식