다국어 AI 격차 연구 정리 — 데이터·평가·토크나이저가 만들어 내는 언어 불평등의 구조

핵심 메시지

• AI 확산이 지역별로 크게 갈리는 원인 중 하나는 모델이 언어마다 똑같이 잘 작동하지 않는다는 점이며, 특정 언어 성능을 끌어올리면 그 나라의 사용률도 함께 올라간다는 관측이 제시됐다.
• 다국어 벤치마크 약 250개를 감사한 결과, 여전히 인도유럽어족에 쏠려 있고 65%가 라틴 문자를 쓰는 언어를 담고 있었으며 방언 지원은 사실상 전무했다.
• 현지 주민이 직접 평가에 참여한 대규모 실험에서 오늘날 모델들은 문법 품질은 그럭저럭 통과했지만, 문화적·지역적 맥락에서 갈렸고 의료 영역 점수가 가장 낮았다.
• 이미지 생성 모델은 부유한 나라의 풍경을 훨씬 잘 반영했고, 학습 데이터 절반 이상이 미국과 영국에 위치 태그가 붙는 편중이 확인됐다.
• 토크나이저가 전문 용어와 저자원 언어 단어를 지나치게 잘게 쪼개면 의미가 흐려지는 동시에 토큰이 늘어 비용까지 커진다는, 잘 다뤄지지 않던 불평등의 통로가 지적됐다.

쉽게 이해하기

이 영상은 마이크로소프트 리서치 인도가 연 학술 서밋의 '포용적 AI' 세션 전체를 담고 있다. 발표자는 마이크로소프트의 수나야나 시타람, 인도과학원의 다니시 프루티, 인도공대 칸푸르의 아슈토시 모디, 인도공대 카라그푸르의 닐로이 강굴리, 보드하니 AI의 아눕 쿤추쿠탄이다. 다섯 발표는 각기 다른 주제를 다루지만 결국 같은 질문으로 모인다. 왜 AI는 어떤 언어와 지역에서만 제대로 작동하는가.

첫 발표는 데이터와 평가의 격차를 정면으로 다뤘다. 여러 기업이 낸 AI 사용 현황 보고서를 보면 확산 정도가 지역마다 확연히 다르고, 이 불균형이 이익과 피해의 불균형으로 이어질 수 있다는 우려가 국제기구에서도 제기되고 있다. 발표자는 인도 13개 언어와 영어에 걸쳐 950만 건 규모의 합성 학습 데이터를 만든 작업을 소개했는데, 영어 데이터를 번역만 하는 방식과 현지 화자가 쓴 자료에 근거해 새로 만드는 방식을 함께 써야 문화적 맥락이 살아난다는 점이 핵심이었다.

평가 이야기는 더 뼈아팠다. 벤치마크 약 250개를 감사한 결과 언어와 문자 체계의 쏠림이 여전했고, 존재하는 벤치마크마저 대부분 영어에서 번역된 것이라 현지에서 실제로 쓰이는 방식을 대표하지 못했다. 그래서 연구진은 시민단체와 현지 노동자가 문항 설계부터 채점까지 참여하는 평가 체계를 만들었다. 11개 언어에 걸쳐 2만 3천여 개 문항을 만들고 15만 건의 사람 평가를 수행한 결과, 모델들의 순위를 가른 것은 문법이 아니라 '내 지역에서 실제로 통하는 답인가'였다.

두 번째 발표는 이미지와 텍스트에 나타나는 지리적 편향을 다뤘다. 27개국 참가자에게 '이 이미지가 당신 주변 환경을 얼마나 잘 반영하나'를 물었더니 집 이미지의 경우 캐나다와 미국은 높은 점수를, 인도는 5점 만점에 1.3점을 줬다. 학습 데이터의 절반 이상이 미국과 영국에 위치 태그가 붙었고, 지리 관련 문장을 완성시키면 인구를 감안해도 특정 선진국이 인도보다 훨씬 자주 등장했다. 발표자는 이를 정체성이 지워지는 현상으로 규정하며, 모델 연구보다 데이터 연구를 기피하는 최근 분위기를 꼬집었다.

세 번째와 네 번째 발표는 응용과 기반 기술로 내려갔다. 법률 AI 발표는 지방법원에만 4400만 건이 밀려 있는 인도 사법 현실에서 출발해, 판결 예측에는 반드시 설명이 함께 나와야 한다는 원칙 아래 온톨로지와 지식 그래프를 결합한 접근을 제시했다. 토크나이저 발표는 의학 용어나 저자원 언어 단어가 지나치게 잘게 쪼개질 때 의미가 흐려지고 비용은 늘어나는 문제를 파고들어, 어휘를 무작정 늘리는 대신 학습되지 않았거나 도달 불가능한 토큰 자리를 재활용하는 방법까지 보여 줬다.

주요 인사이트

• '측정하지 못하면 개선할 수 없다'는 말이 세션 전체를 관통한다. 모델이 여러 언어로 답을 내놓기는 하지만 우리가 평가하는 언어는 극히 일부이고, 그 평가마저 영어를 번역한 것이라면 개선의 방향 자체를 알 수 없다는 지적이다.
• 합성 데이터는 만능이 아니다. 발표자는 번역만으로 만든 데이터로는 현지 지식과 문화 맥락을 담을 수 없다고 보면서도, 합성 데이터 역시 공짜가 아니어서 현지 화자에게 직접 데이터를 수집하는 비용과의 균형을 아직 제대로 따져 보지 못했다고 인정했다.
• 인간 평가에도 함정이 있다. 청중이 '사람들은 자기 동네 거리가 지저분하다고 인정하기보다 예쁜 이미지를 고르고 싶어 한다'고 지적하자 발표자도 인간 피드백이 현실보다 열망을 반영할 수 있다는 한계를 인정했다.
• 법률 영역에서는 정확도보다 설명 가능성이 먼저다. 발표자는 설명 가능성을 모델을 만든 뒤 덧붙이는 이류 기능이 아니라 설계 단계에 넣어야 한다고 강조했고, 인도 밖에서 학습된 대형 모델보다 현지 데이터로 맞춤 학습한 소형 모델이 더 나았다는 결과를 함께 내놨다.
• 덜 주목받던 토크나이저 문제가 비용 불평등으로 직결된다는 점이 흥미롭다. 같은 문장이라도 어떤 언어에서는 토큰이 몇 배로 늘어나 요금과 지연이 함께 커지는데, 어휘를 키우는 것만으로는 해결되지 않고 이미 있는 어휘가 실제로 쓰이도록 분절 규칙까지 손봐야 개선됐다.

자주 묻는 질문

관련 AI 소식