GSM-Symbolic 논문 해설: 애플이 지적한 LLM 수학 추론의 한계와 남는 반론들

핵심 메시지

• 애플 연구진은 GSM8K 문제를 이름·숫자를 바꿔 끼울 수 있는 템플릿으로 만든 뒤, 템플릿 100개에서 각각 50개씩 변형 문제를 뽑아 50벌의 시험지를 구성했다.
• 같은 난이도의 변형 문제인데도 모델별 점수가 70점대에서 80점대 중반까지 크게 흔들렸고, 원본 GSM8K 점수는 변형 문제 분포의 오른쪽 끝에 몰려 있었다.
• 등장인물 이름만 바꾸면 성적이 거의 유지되지만 숫자를 바꾸면 정확도가 눈에 띄게 떨어졌고, 조건을 하나둘 더할수록 하락 폭이 커졌다.
• 답과 무관한 문장을 끼워 넣은 GSM-NoOp 실험에서는 무시하는 법을 여덟 번이나 예시로 보여줘도 대부분의 모델이 그 정보를 계산에 끌어들였다.
• 영상 진행자는 실험 자체는 탄탄하지만 '추론'을 정의하지 않은 채 결론을 내렸고, 사람도 같은 문제에서 비슷하게 틀릴 것이라며 해석에 이견을 제시한다.

쉽게 이해하기

이 영상은 애플에서 나온 논문 'GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models'를 훑어보는 논문 리뷰다. 진행자는 오픈AI나 구글 같은 기존 기업들이 점점 기술 보고서 위주로만 결과를 내놓는 흐름 속에서, 애플처럼 새 기업이 연구 영역에 들어와 논문을 내는 것 자체를 반긴다고 말한다.

논문이 던지는 질문은 세 가지다. 대형 언어모델이 수학 문제를 풀 때 실제로 추론을 하고 있는가, 널리 쓰이는 GSM8K 벤치마크가 이미 학습 데이터에 섞여 들어간 것은 아닌가, 그리고 모델이 문제의 사소한 변화에 얼마나 견디는가다. 이를 확인하려고 연구진은 GSM8K의 초등·중등 수준 문장제 문제를 템플릿으로 바꿨다. 사람 이름, 가족 관계, 등장하는 숫자에 변수 이름을 붙이고 각 변수가 가질 수 있는 값의 목록과 범위, 그리고 답이 만족해야 할 조건을 지정하는 방식이다.

이렇게 만든 템플릿 100개에서 각각 50개의 변형 문제를 뽑으면, 원래 문제와 뼈대는 같지만 이름과 숫자만 다른 100문항짜리 시험지 50벌이 나온다. 결과는 두 가지였다. 첫째, 같은 모델이 50벌의 시험지에서 받은 점수의 편차가 매우 컸다. 진행자는 그 폭이 리더보드에서 모델들이 서로 벌리고 있는 간격보다 넓다고 지적한다. 둘째, 원본 GSM8K 점수는 이 분포의 한가운데가 아니라 오른쪽 끝, 즉 유독 잘 본 쪽에 놓였다. 논문은 이를 시험 문제가 학습 데이터에 이미 들어가 있었다는 정황으로 읽는다.

이어진 실험에서 논문은 이름만 바꾸는 경우와 숫자만 바꾸는 경우를 분리했다. 이름만 바꿨을 때는 성적이 거의 그대로였고 일부 모델은 원본보다 나았지만, 숫자를 바꾸면 성적이 뚜렷하게 떨어졌다. 조건을 하나 빼서 쉽게 만들거나 하나둘 더해 어렵게 만드는 실험에서도 조건이 늘어날수록 정확도가 내려갔다. 마지막 GSM-NoOp 실험은 답에 아무 영향이 없는 문장을 끼워 넣는 방식인데, 예를 들어 키위 몇 개가 평균보다 조금 작았다는 문장을 넣으면 여러 모델이 그 개수를 총합에서 빼려 들었다. 이 실험들은 모두 여덟 개의 예시를 함께 주는 방식으로 진행됐고, 무관한 정보를 무시하는 예시를 그대로 보여줘도 대부분 따라 하지 못했다.

진행자는 결과보다 해석에 문제를 제기한다. 우선 모델별 하락 폭을 나란히 놓은 막대그래프는 출발점이 다른 모델들을 그대로 비교한 것이어서, 정확도 대신 오답률 기준으로 다시 스케일을 맞추면 하락 폭이나 편차가 모두 비슷해질 수 있다고 본다. 또 사람이 만든 문제는 숫자가 현실에 맞게 정해지는 반면 템플릿에서 범위를 정해 무작위로 뽑으면 링 100개가 꽂힌 쌓기 장난감처럼 말이 안 되는 상황이 나오는데, 사람 글로 학습한 모델이 이런 문장을 어려워하는 것은 암기 여부와 별개인 분포 차이일 수 있다고 반박한다.

주요 인사이트

• 벤치마크 한 번의 점수는 실력이라기보다 표본 하나에 가깝다. 같은 문제를 이름과 숫자만 바꿔 50벌로 만들어 보면 모델 하나의 점수가 리더보드 순위를 뒤집을 만큼 흔들린다는 점은, 모델 선택을 점수 한 줄로 결정하는 관행에 경고를 준다.
• 원본 문제에서만 유독 잘 보는 현상은 오염을 의심할 근거가 되지만 유일한 설명은 아니다. 사람이 쓴 문제는 숫자가 현실적으로 어울리게 정해지는 반면 자동 생성 문제는 그렇지 않아, 성능 하락에 암기와 분포 차이가 섞여 있을 수 있다.
• 무관한 정보를 끼워 넣었을 때 무너지는 결과는 오히려 '이건 그냥 패턴 매칭'이라는 결론과 충돌한다. 무시하는 방법을 여덟 번 보여줘도 못 따라 한다면 패턴 매칭조차 잘 못한다는 뜻이라는 반론이 영상에서 소개된다.
• 추론이라는 말을 정의하지 않고 실패 사례만 모으면 결론이 흔들린다. 조건이 늘어나거나 미끼 문장이 섞이면 사람도 비슷하게 틀리는데, 같은 잣대를 사람에게 대면 사람도 추론하지 않는다는 결론이 나와 버린다.
• 실무에서 얻을 교훈은 분명하다. 프롬프트에 넣는 숫자와 군더더기 문장이 결과를 바꿀 수 있으므로, 계산이 중요한 작업이라면 언어모델에 다 맡기기보다 계산 자체는 코드나 계산 도구로 넘기는 편이 안전하다.

자주 묻는 질문

관련 AI 소식