LLM 문화 이해 한계와 이미지 트랜스크리에이션: CMU 시므란 카누자 연구 인터뷰 정리

핵심 메시지

• 지금의 대규모 모델은 완전한 범용이 아니다. 최대우도 추정으로 학습하기 때문에 '요리법을 알려달라'는 요청에 세계 각지의 음식을 고르게 제시하지 않고 인터넷에서 흔한 답을 먼저 내놓는다.
• 문화적 정렬 실패의 가장 큰 원인은 데이터지만, 손실 함수 설계와 프롬프트 방식에도 책임이 있다. 비슷한 입력에 대해 여러 가치를 평균 내버리는 구조 자체가 문제라는 지적이다.
• 프롬프트로 문화적 편향을 보정하는 방식은 대략 60~70% 정도까지는 통하지만, 사용자가 매번 점점 더 구체적으로 지시해야 하는 비용이 남는다. 특히 이미지 생성 모델은 언어 모델보다 훨씬 취약하다.
• 번역을 텍스트에 한정하지 않고 이미지까지 확장한 '이미지 트랜스크리에이션' 연구는 인도 배경 그림책이 유럽 언어권 어린이에게 읽히지 않던 실제 문제에서 출발했다.
• 저자원 언어라고 불리는 영역에도 아직 활용되지 않은 인터넷 데이터가 많으며, 모델 내부의 문화 관련 특징을 추론 시점에 활성화하면 더 희귀한 개념을 끌어낼 수 있다는 해석 가능성 연구 결과가 나왔다.
• 평가는 사람이 만들고 사람이 검증해야 한다. 모든 후속 모델이 그 평가셋을 기준으로 만들어지기 때문에, LLM만으로 평가와 합성 데이터 생성을 닫아버리는 것은 현재 모델 수준에서 바람직하지 않다는 견해다.

쉽게 이해하기

카네기멜런대 박사과정 연구자 시므란 카누자는 인도에서 코드 믹싱(여러 언어를 섞어 쓰는 현상) 연구로 출발해 마이크로소프트 리서치와 구글 리서치를 거쳐 다국어·다문화 AI를 파고들었다. 인터뷰는 오늘의 대형 모델이 정말 범용인가라는 질문에서 시작한다. 그의 답은 '아직 아니다'였다. 이유는 학습 목표 자체에 있다. 모델은 학습 데이터에서 특정 출력이 관찰될 확률을 높이는 방향으로 훈련되기 때문에, 요리법을 물으면 세계 각 지역의 음식을 고르게 표본으로 뽑는 대신 인터넷에서 가장 흔한 요리를 먼저 내민다.

데이터가 미치는 영향은 응답의 성격에까지 스며든다. 그는 앤트로픽이 공개한 분석에서 클로드가 언어에 따라 다른 가치 성향을 보였다는 대목을 인용했다. 영어와 러시아어에서는 엄밀함 쪽으로, 힌디어와 아랍어에서는 따뜻함 쪽으로 기운다는 관찰이다. 언어는 그 언어를 쓰는 사람들의 문화가 비치는 창이고, 온라인에 쌓인 글의 결이 결국 모델 가중치에 스며든다는 설명이다. 반대로 영어처럼 여러 나라에서 두루 쓰이는 언어에서는 상대방이 어떤 배경의 사람인지 모델이 판단하기 어렵다는 문제가 생긴다.

그렇다면 프롬프트로 해결할 수 있을까. 그는 대략 60~70% 정도까지는 갈 수 있다고 본다. 문제는 그 나머지다. 이미지 생성 모델은 특히 취약해서, 결혼식 사진을 요청하면 특정 종교의 결혼식이 반복해서 나오고, 인도 음식 사진에 '더 인도스럽게'를 요구하면 이미 있는 사모사를 스무 개 더 얹어놓는 식으로 반응한다. 원하는 결과를 얻으려면 지시를 계속 더 구체적으로 만들어야 하고, 이는 연산 비용과 사용자의 시간·노력이라는 부담으로 돌아온다.

그의 대표 연구인 이미지 트랜스크리에이션은 아주 구체적인 현장 문제에서 시작됐다. 어린이 그림책을 만드는 조직이 인도·아프리카 삽화가가 그린 이야기를 유럽 언어로 정성껏 번역했는데도 유럽 어린이들이 읽지 않았다. 텍스트는 말장난과 관용구까지 사람이 문화에 맞게 옮겼지만, 그림은 그대로였다. 사리를 입은 할머니가 남인도 해안에서 나무와 타이어로 만든 도르래로 코코넛을 따는 장면을 스페인어권 아이가 자기 할머니로 받아들이기는 어렵다. 그는 여기서 '의미는 유지하되 이미지를 현지화한다'는 과제를 끌어냈고, 이 연구는 EMNLP 최우수 논문상을 받았다.

이런 문화 현지화는 AI 밖에서는 이미 산업 관행이다. 그는 애니메이션 '인사이드 아웃'이 일본판에서 아이가 싫어하는 음식을 브로콜리에서 피망으로 바꾸고 축구를 아이스하키로 교체한 사례를 든다. 장면의 의미는 그대로 두고 표현만 옮긴 것이다. 배경 음악까지 바꾸는 경우도 있는데, 같은 감정을 불러일으키기 위해서다. 멀티모달 콘텐츠에서 한 가지 양식만 번역하면 오히려 인지적 불일치가 생겨 더 나빠진다는 지적은 AI 밖 연구에서도 오래 논의돼 왔다.

평가 설계는 이 연구의 가장 까다로운 부분이었다. 정답 이미지가 하나로 정해지지 않기 때문이다. 연구팀은 음식·음료·농업·주거 등 여러 문화에 공통으로 존재하는 17개 범주를 언어학 자료에서 가져와 600장을 모으고, 여기에 수학 학습지와 그림책 이미지 100장을 더해 700장 규모의 테스트셋을 만들었다. 학습지 사례가 특히 흥미롭다. 미국판이 핼러윈 호박과 거미를 세는 문제라면 인도판은 디왈리 등잔을 세는 문제로 바뀌어야 하되, '개수 세기를 가르친다'는 학습 목표는 유지돼야 한다. 정답을 정해두지 않았기에 연구팀은 사람 평가자에게 목표 국가 적합성, 자연스러움, 불쾌감 유발 여부 등 대여섯 개 항목을 채점하게 했다.

인터뷰 후반부는 평가라는 병목으로 이어진다. 그는 좋은 벤치마크가 분야의 진전을 이끈다고 보면서도, 주관이 개입하는 과제를 LLM 심판에게만 맡기는 방식에는 선을 긋는다. 합성 데이터를 만들고 그 데이터로 모델을 학습시키고 다시 LLM으로 평가하는 폐쇄 루프에서 사람을 완전히 빼는 것은 지금 모델 수준에서는 적절하지 않다는 것이다. 창의성 자체를 벤치마크로 만들기 어려운 이유도 설명한다. 창의적이라는 것은 분포 밖에 있다는 뜻인데, 측정 가능해지는 순간 그것은 분포 안으로 들어와 더 이상 새롭지 않다.

주요 인사이트

• 문화 편향을 데이터 부족 문제로만 환원하면 해법이 '더 많은 데이터 수집'에 갇힌다. 최대우도 학습이 여러 가치를 평균 내는 구조 자체를 손볼 여지가 있다는 지적은 문제의 층위를 한 단계 끌어올린다.
• 언어 모델보다 이미지 생성 모델이 문화적으로 더 경직돼 있다는 관찰은 실무자에게 직접적이다. 이미지 자산을 지역별로 만들 때 프롬프트만으로 다양성을 확보하려는 시도는 예상보다 빨리 한계에 부딪힌다.
• 멀티모달 콘텐츠에서 텍스트만 번역하면 오히려 몰입을 해친다는 점은, 자막·더빙만 손보는 한국 콘텐츠의 해외 현지화 관행에도 그대로 적용되는 문제 제기다.
• 다국어 모델을 미세조정할 때 영어 데이터를 과도하게 줄이면 다국어 성능까지 함께 떨어진다. 영어를 통해 학습한 능력이 교차 언어 전이로 다른 언어를 떠받치고 있기 때문이라는 설명이다.
• '저자원'이라는 딱지가 붙은 언어 중 상당수는 데이터가 없는 게 아니라 아직 끌어내지 못한 것일 수 있다. 반면 디지털 기록 자체가 없는 언어에는 책·신문 디지털화 같은 초기 종잣돈 성격의 투자가 먼저 필요하다.
• 창의적 과제도 광고 매출처럼 후단에 구체적 지표가 있다면 그 숫자를 학습 파이프라인으로 되돌릴 수 있다. 다만 다차원 루브릭으로 정교하게 만들수록 보상 해킹을 줄일 수 있다는 단서가 붙는다.

자주 묻는 질문

관련 AI 소식