LLM 표 데이터 추론 능력 평가: 기존 지표의 착시와 결측치·중복에서 드러난 한계

핵심 메시지

• 기업과 개인이 이미 표를 그대로 언어모델에 붙여 넣고 질문하는 상황에서, 실제로 얼마나 잘 답하는지를 다시 측정한 연구다.
• 블루 계열 점수나 임베딩 유사도 같은 기존 지표는 정답과 오답의 점수 분포가 거의 겹쳐, 표 위의 계산 결과를 채점하는 데 적합하지 않았다.
• 선택지 네 개를 주는 객관식 평가는 찍어도 25%가 나오기 때문에 모델의 실제 능력을 크게 부풀린다.
• 표가 조금만 커져도 정확도가 급격히 떨어졌고, 가장 작은 규모에서도 성적은 좋지 않았다.
• 결측치가 있다는 사실을 모델이 알아채고 알려준 경우는 절반 정도에 그쳤고, 중복 행이 있을 때는 정확도까지 함께 떨어졌다.

쉽게 이해하기

발표자는 왜 굳이 표를 따져야 하느냐는 질문으로 시작한다. 자연어 추론에 대한 관심은 많지만, 현실에서는 이미 사람들이 표 서너 개를 통째로 프롬프트에 넣고 평균이나 합계를 묻고 있으며 검색 증강 파이프라인에도 표가 그대로 들어간다. 그래서 연구는 두 단계로 설계됐다. 먼저 이런 답을 무엇으로 채점할 것인지 정하고, 그다음 현실적인 형태의 표에 대해 모델이 얼마나 버티는지를 본다.

채점 문제는 생각보다 심각했다. 겹치는 단어 수를 세는 방식의 점수는 '탁자 위'와 '탁자 아래'처럼 의미가 뒤집혀도 높은 점수를 주고, 반대로 정답 숫자를 문장으로 풀어 쓰면 낮은 점수를 준다. 임베딩 유사도 역시 196과 194처럼 한 글자 차이 나는 오답에 높은 점수를 매긴다. 실제로 사람이 정답 여부를 붙인 응답들을 놓고 보니 두 지표 모두 정답과 오답의 점수 분포가 크게 겹쳐 구분이 어려웠다.

대안으로 택한 것이 모델을 채점자로 쓰는 방식이다. 형식을 강제하지 않고 사용자가 실제로 쓰는 것처럼 자유롭게 답하게 한 뒤, 정답과 의미가 일치하는지만 판정하게 했다. 사람이 직접 라벨을 붙인 300건과 비교했더니 완벽하지는 않아도 기존 지표보다 훨씬 잘 맞았다. 이 채점기를 갖추고 나서야 원래 벤치마크의 객관식 형식을 버리고 열린 형태로 다시 물어볼 수 있었는데, 그 결과 선택지를 주던 기존 평가가 성능을 상당히 과대평가하고 있었다는 점이 드러났다.

본 실험에서는 70억~80억 파라미터급의 공개 모델들을 중심으로, 표를 특별한 가공 없이 프롬프트에 넣고 평균이나 차이를 묻는 과제를 시켰다. 표 크기를 토큰 기준으로 키우자 성능은 뚜렷하게 무너졌고, 문제는 가장 작은 1,024토큰 규모에서도 이미 성적이 좋지 않았다는 점이다. 한 모델이 평균 계산 과제에서만 예외적으로 안정적인 모습을 보였지만 발표자도 이유를 설명하지 못했고, 나머지 조건에서는 예외 없이 하락했다.

마지막으로 현실 데이터에서 흔한 결측치와 중복 행을 넣어봤다. 값이 빠지면 정답도 달라지므로 정답을 다시 계산해 비교했는데, 정확도 자체는 의외로 크게 흔들리지 않았다. 다만 표에 값이 비어 있다는 사실을 짚어준 비율은 절반 수준이어서 동전 던지기와 다를 바 없었고, 중복 행에서는 정확도까지 눈에 띄게 떨어지면서 중복이 있다는 사실도 대부분 언급하지 않았다. 발표자는 파이썬 실행 환경이나 도구 연결, 프롬프트 개선 같은 우회책의 효과는 이번 연구에서 다루지 않았다며 후속 과제로 남겼다.

주요 인사이트

• 표 위의 질문은 '거의 맞음'이 의미가 없는 영역이다. 키를 196이 아니라 194로 답하면 그냥 틀린 답인데, 임베딩 기반 점수는 이 둘을 사실상 같게 본다.
• 벤치마크의 형식이 결론을 바꾼다. 선택지를 주는 순간 찍기 확률이 바닥을 깔아주기 때문에, 같은 모델도 열린 질문으로 물으면 훨씬 낮은 성적이 나온다.
• 모델이 데이터의 이상을 스스로 알려주지 않는다는 점이 정확도 하락보다 더 실무적인 위험이다. 결측치나 중복을 언급하지 않은 채 그럴듯한 숫자만 돌려주기 때문이다.
• 표를 문자열로 바꾸는 방식 자체가 성능에 영향을 준다는 점은 기존 연구에서도 확인된 바 있고, 이 연구는 사용자들이 실제로 가장 많이 쓰는 단순한 형식을 택했다.
• 질의응답에서 나온 조언은 결국 맥락이다. 컬럼 이름만으로 의미를 알 수 없는 사내 데이터라면, 모델에 넘기는 설명을 계속 갱신해 주는 것이 현재로선 가장 현실적인 방법이라고 답했다.

자주 묻는 질문

관련 AI 소식