다국어 NLP 강의 정리: 데이터 격차, 다국어성의 저주, 토크나이저 불균형과 전이 학습 전략

핵심 메시지

• 다국어 NLP의 문제는 대부분 데이터 문제다. 강연자는 어려움의 약 95%가 데이터 부족에서 오고 나머지가 언어적 특성이라고 말한다.
• 모델 크기가 고정된 상태에서 언어 수를 늘리면 언어당 용량이 줄어드는 '다국어성의 저주'가 나타난다. 저자원 언어는 조금 좋아지지만 고자원 언어 성능은 떨어진다.
• 토크나이저 불균형도 실질적인 비용이다. 같은 내용을 영어로는 58개 토큰으로 처리하는데 버마어로는 617개 토큰이 필요했다는 예가 제시된다.
• 범용 언어 모델은 고자원 언어 번역에는 쓸 만하지만, 자원이 적은 언어로 갈수록 전용 번역 모델보다 뒤처진다.
• 언어를 옮겨 학습할 때 어떤 언어에서 전이할지 고르는 문제에서, 지리적 근접성이 뜻밖에도 가장 좋은 단일 지표였다.

쉽게 이해하기

강의는 다국어 NLP를 두 갈래로 나누는 것에서 시작한다. 하나는 영어가 아닌 언어에서 질의응답·감성 분석·코드 생성 같은 과제를 수행하는 '여러 언어에서의 단일 언어 NLP'이고, 다른 하나는 기계 번역이나 교차언어 질의응답처럼 두 개 이상의 언어가 동시에 관여하는 '교차언어 NLP'다. 두 경우 모두 가장 큰 장벽은 언어별 데이터 양의 극심한 편차다.

언어적 특성도 걸림돌이다. 히브리어나 아랍어처럼 자음이 어근을 이루고 모음이 활용에 따라 끼어드는 언어는 어근이 연속된 문자열로 나타나지 않아 바이트 페어 인코딩 같은 기법과 잘 맞지 않는다. 성조 표기와 발음 구별 기호, 한 글자에 담긴 정보량이 많은 한중일 문자, 표준 표기법이 확립되지 않아 철자 변이가 큰 언어들도 각각 다른 문제를 만든다.

방언 처리는 기술만의 문제가 아니다. 강연자는 '언어는 군대를 가진 방언'이라는 말을 인용하며, 상호 이해가 가능한데도 국가나 민족 구분 때문에 별개 언어로 불리는 사례와 반대로 서로 통하지 않는데도 방언으로 불리는 사례를 함께 든다. 표준 언어 코드 목록에 등재되지 못한 변종은 데이터셋과 도구 지원에서도 밀려난다.

학습 쪽에서는 데이터 균형 맞추기가 핵심 기법으로 등장한다. 온도 샘플링은 언어별 데이터 양을 지수로 눌러, 온도가 1이면 데이터 양에 비례해 뽑고 값이 커질수록 언어 간 비중이 평평해지도록 조절한다. 더 정교한 방법으로는 개발 데이터와 학습 데이터의 그래디언트 정렬 정도를 재서 도움이 되는 데이터의 비중을 학습 중에 동적으로 올리고 내리는 방식이 소개된다.

번역 평가에서는 BLEU 대신 문자 단위 n그램을 보는 chrF를 쓰라고 권한다. BLEU는 단어 단위 겹침만 보기 때문에 dog와 dogs를 전혀 다른 것으로 취급한다. 임베딩 기반의 COMET이나 언어 모델을 심판으로 쓰는 지표가 사람 판단과 더 잘 맞지만, 저자원 언어에서는 심판 모델 자체가 그 언어를 잘 못하므로 chrF를 함께 보는 편이 안전하다.

데이터를 새로 만드는 이야기로 강의는 마무리된다. 사람을 고용해 주석을 다는 방식은 과제가 복잡해질수록 비싸지므로, 불확실성이 높고 동시에 전체 데이터를 대표하는 예시를 골라 주석하는 능동 학습이 대안으로 제시된다. 불확실성 지표로는 엔트로피, 최상위 후보의 확신도, 그리고 1순위와 2순위 후보의 차이를 보는 마진이 있으며 강연자는 마진을 선호한다고 밝힌다.

주요 인사이트

• 다국어 모델을 하나로 합치는 흐름은 정확도만의 문제가 아니라 운영 문제이기도 하다. 언어마다 별도 모델을 띄우던 시절의 서버 비용이 통합의 실질적 동기였다.
• 언어 모델이 별도 학습 없이도 번역을 어느 정도 해내는 이유 중 하나는 웹 데이터 자체에 우연히 섞인 이중언어 문서다. 한 연구는 학습 사례의 1.4%가 이중언어로 탐지됐고 0.34%는 실제 번역 쌍을 포함했다고 보고했다.
• 공개 모델이 영어 성능을 끌어올리려고 다국어 데이터를 걸러 내는 관행은, 결과적으로 비영어권 사용자에게 불리하게 작용한다.
• 문자 체계가 다른 언어를 같은 표기로 바꿔 전이를 돕는 방법은 만능이 아니다. 영어와 프랑스어를 발음 기호로 변환했더니 오히려 정확도가 크게 떨어졌는데, 두 언어는 발음보다 철자가 훨씬 닮았기 때문이다.
• 임베딩으로 유사 문장을 찾을 때는 특정 벡터가 수많은 문장과 비슷해 보이는 허브 문제를 조심해야 한다. 이웃들과의 유사도를 기준으로 정규화하면 허브만 반복 선택되는 현상을 줄일 수 있다.
• 교차언어 학습과 능동 학습은 함께 쓸 때 효과가 커진다. 교차언어로 초기 모델을 잡으면 무엇을 모르는지에 대한 추정이 정확해지고, 그 추정이 다시 좋은 주석 대상 선택으로 이어진다.

자주 묻는 질문

관련 AI 소식