LLM 벡터 표현 쉽게 이해하기: 문장 단위 임베딩과 멀티모달 정렬이 번역을 바꾸는 방식

핵심 메시지

• 대형 언어 모델은 영어 데이터에 크게 치우쳐 학습돼 다른 언어로 옮길 때 영어의 어순과 문법에 끌려가는 문제가 있다
• 모든 언어 쌍을 일일이 다루면 언어 수의 제곱만큼 조합이 필요하지만, 중간 벡터 공간을 두면 이 부담이 사라진다
• 메타가 시도한 문장 단위 인코딩은 긴 문맥 처리와 다국어 대응, 텍스트-이미지 생성에서 장점이 있지만 문장 수가 사실상 무한하다는 약점을 안는다
• 이미지를 기준으로 텍스트·영상·오디오 벡터를 정렬하자, 중간 단계 없이 어떤 형식이든 서로 연결되는 현상이 나타났다
• 발표자는 알고리즘이나 구현보다 데이터를 어떻게 표현하느냐가 문제 해결의 핵심이라고 강조한다

쉽게 이해하기

영상은 번역 예시로 시작한다. 영어 문장 'she is going there'에서는 대명사 she가 성별을 알려주지만, 힌디어에서는 '가다'에 해당하는 동사 쪽에서 성별 정보가 드러난다. 단어를 하나씩 그대로 옮기는 직역으로는 이 차이를 처리할 수 없다. 대형 언어 모델이 영어 데이터에 크게 치우쳐 학습된 탓에 힌디어나 스페인어를 다룰 때도 영어의 단어 배열과 문법에 지나치게 끌려간다는 것이 문제의 뿌리다.

해결책은 두 가지로 갈린다. 세상의 모든 언어 쌍을 따로 다루는 방식은 언어가 n개일 때 n의 제곱만큼 조합이 필요해 감당하기 어렵다. 대안은 중간 표현을 두는 것이다. 문장 전체의 의미를 다차원 공간의 벡터 하나로 압축해 두면, 힌디어로 같은 의미를 만들 때 그 벡터 하나만 보고 문장을 생성하면 된다. 메타가 시도한 '대형 개념 모델'이 이 문장 단위 인코딩 방향이다.

단점도 분명하다. '그녀가 거기 간다', '갈 것이다', '갈 수도 있다'처럼 사람이 만들 수 있는 문장은 사실상 무한하다. 토큰 단위로 비교하면 대부분의 단어가 겹치지만, 문장 단위로 다루면 모두 별개의 표현이 되어 비슷한 개념끼리 중복이 생긴다. 반대로 장점은 긴 문맥 처리다. 문장 하나가 점 하나로 대응되니 입력이 길어져도 모델이 맥락을 유지하기 쉽고, 문장 전체 의미가 벡터 하나에 담기므로 텍스트에서 이미지를 만드는 작업에서도 의도와 맥락을 더 정확히 반영할 수 있다.

이 아이디어의 배경에는 메타의 앞선 멀티모달 연구가 있다. 텍스트로 '고양이'를 표현한 벡터와 실제 고양이 이미지의 벡터를 강제로 겹치도록 맞추는 방식이다. 컴퓨터 그래픽스에서 점들을 이동·확대·회전시키듯 두 벡터 공간을 정렬하고, 설명이 달린 대규모 이미지 데이터로 이 정렬을 학습시켰다. 이어서 영상과 오디오도 이미지에 맞춰 정렬했더니, 어떤 형식이든 이미지를 거치는 중간 변환 없이 서로 대응되는 결과가 나왔다. 발표자는 이를 '창발적 정렬'이라 부르며 특정 분야 전용 모델을 능가하는 인식 성능이 나왔다고 전한다.

발표자는 인도의 사례로 실용적 의미를 덧붙인다. 공식 언어만 22개, 실제 사용 언어는 수백 개인 환경에서는 특정 언어에만 맞춘 모델보다 언어에 구애받지 않는 표현이 훨씬 안정적이라는 것이다. 마지막으로 그는 문제 해결을 정의·표현·알고리즘·구현의 네 단계로 나눈 MIT 패트릭 윈스턴 교수의 틀을 인용해, 대부분의 관심이 알고리즘과 구현에 쏠려 있지만 표현을 제대로 잡으면 문제의 상당 부분이 이미 풀린다고 강조한다. 트랜스포머는 다른 구조로 대체될 수 있어도 표현 방식은 그렇지 않다는 것이 그의 요지다.

주요 인사이트

• 언어 간 번역 품질 문제는 어휘 대응이 아니라 문법 정보가 어느 위치에 실리는지의 차이에서 온다. 영어에서 대명사가 지는 역할을 다른 언어에서는 동사가 진다.
• 중간 표현을 도입하면 언어 쌍이 늘어날 때 발생하는 제곱 규모의 조합 폭발을 선형 수준의 문제로 바꿀 수 있다.
• 문장 단위 벡터는 긴 문맥과 이미지 생성에 유리하지만, 표현 단위가 커질수록 유사한 의미가 서로 다른 벡터로 흩어지는 중복 비용을 감수해야 한다.
• 이미지를 공통 기준점으로 삼아 각 형식을 정렬하면, 학습하지 않은 조합끼리도 연결되는 효과가 나타난다. 모든 쌍을 직접 학습시킬 필요가 없다는 뜻이다.
• 표현 설계는 알고리즘보다 수명이 길다. 트랜스포머가 다른 구조로 대체돼도 데이터를 어떻게 벡터로 담을지의 문제는 그대로 남는다.

자주 묻는 질문

관련 AI 소식