PolyWorkBench 분석: 다국어 업무에서 AI 에이전트 점수가 20~30점 흔들리는 이유

핵심 메시지

• 지시·자료·산출물의 언어가 서로 다른 실제 업무 상황을 상정한 67개 장기 과제 벤치마크가 공개됐다.
• 같은 모델이라도 어떤 에이전트 하네스에 올리느냐에 따라 점수가 8점에서 21점까지 벌어졌다.
• 한 모델 안에서도 가장 잘하는 언어와 가장 못하는 언어의 점수 차가 30점을 넘는 경우가 있었다.
• 18개 모델·하네스 조합 가운데 0.79를 넘긴 것은 셋뿐이었고, 다섯 개 업무 영역 모두에서 고르게 잘한 조합은 없었다.
• 자동 채점과 언어 모델 심사의 상관계수가 0.18에 그쳐, 성능을 재는 방식끼리도 어긋났다.

쉽게 이해하기

지금까지 AI 에이전트를 평가할 때는 조용한 가정이 하나 깔려 있었다. 추론도, 도구 호출도, 결과 생성도 모두 한 언어 안에서 이뤄진다는 가정이다. 그러나 실제 업무는 그렇지 않다. 지시는 한국어로 받고 자료는 일본어로 읽고 보고서는 영어로 쓰는 일이 예사다.

이 영상이 소개하는 벤치마크는 그 간극을 정면으로 겨눈다. 다섯 개 업무 영역과 열 개 언어에 걸친 67개 과제로 구성되며, 각 과제는 단답형 질문이 아니라 끝까지 수행해야 하는 업무 흐름이다. 과제는 크롤링이나 대량 생성이 아니라 각 영역을 아는 작업자가 실제 언어로 된 자료부터 모아 손으로 만들었다. 일본어 영수증과 화물 송장, 한국어 장애 대응 로그, 독일어 기본 계약서, 러시아어·베트남어 시장 조사 문서 같은 것들이 원자료로 들어갔다.

결과는 냉정했다. 과제 하나를 끝내는 데 평균 8.54단계가 필요했고 전체 과제의 88%가 세 개 이상의 언어를 동시에 다뤘는데, 최신 모델을 총동원한 18개 조합 중 0.79를 넘긴 것은 셋뿐이었다. 가장 높은 0.91을 기록한 조합에서 모델은 그대로 두고 하네스만 다른 것으로 바꾸자 점수가 0.71로 떨어졌다. 21점이 껍데기 하나에서 사라진 셈이다.

언어는 또 다른 독립된 실패 축이었다. 상위 모델은 열 개 언어에서 0.82~0.96 사이로 고르게 나왔지만, 중간급 모델은 러시아어·스페인어·독일어에서 급격히 무너졌다. 한 모델 안에서 최고 언어와 최저 언어의 차이가 30점을 넘기도 했는데, 이는 리더보드에서 이웃한 두 조합의 점수 차보다 큰 폭이다.

평가 방식 자체의 불일치도 드러났다. 형식을 보는 구조 채점과 실제로 돌려보는 실행 검증은 서로 잘 맞았지만, 의미와 품질을 보는 언어 모델 심사는 상관계수가 0.18에 그쳤다. 어느 정도 풀린 과제만 따로 보면 상관은 -0.04로 사실상 무관해졌다. 심사 점수의 60.1%가 0.8 이상에 몰리고 15.4%는 아예 0점이어서, 품질을 연속적인 점수로 매기지 못하고 통과와 탈락으로만 갈랐기 때문이다.

주요 인사이트

• 모델 이름만 밝히고 어떤 하네스를 썼는지 말하지 않는 성능 비교는 의미가 약하다. 같은 모델에서 껍데기만 바꿔도 20점 이상 움직였기 때문이다.
• 하네스에 절대 강자는 없다. 한 하네스가 붙일 수 있는 모든 모델에서 최고이거나 공동 최고였지만, 나머지 하네스의 순위는 모델이 바뀌면 뒤집혔다.
• 세 번 시도해 가장 좋은 결과를 취하면 상위 조합은 0.007 오르는 데 그친 반면 하위 조합은 0.206까지 올랐다. 기본 실력이 낮을수록 운의 영향이 커진다는 뜻이므로, 자율 업무를 맡길 때는 평균 점수만큼이나 편차가 중요하다.
• 구조 채점만으로도, 언어 모델 심사만으로도 충분하지 않다. 형식과 기능은 맞췄는데 심사에서 낮은 점수를 받은 사례가 132건, 그 반대가 97건이었다.
• 한국에서 일하는 사람에게 특히 와닿는 결과다. 한국어 지시, 영어 자료, 일본어 산출물이 섞이는 조합에서 성능이 눈에 띄게 떨어진다는 것이 수치로 확인됐다.

자주 묻는 질문

관련 AI 소식