ChartNet 합성 데이터셋으로 차트 이해 비전언어모델 학습하기, MIT·IBM 연구 정리

핵심 메시지

• 차트 이해는 이미지 인식과 글자 읽기, 수치 추론을 한꺼번에 요구해 일반 이미지보다 어려운 과제다.
• ChartNet은 차트가 원래 코드로 그려진다는 점을 이용해, 코드 단계에서 데이터를 늘리는 2단계 합성 파이프라인으로 만들어졌다.
• 이미지 하나에 그림 코드, 데이터 표, 자연어 요약, 추론 과정이 붙은 100만 건 규모 오픈소스 데이터셋이다.
• 10억 미만부터 70억 파라미터까지 오픈소스 모델을 미세조정한 결과 모든 계열에서 차트 과제 성능이 올랐다.
• 20억 파라미터 오픈소스 모델이 훨씬 큰 GPT-4를 차트 과제에서 앞섰고, 개선 효과는 공개 벤치마크로도 이어졌다.

쉽게 이해하기

MIT 박사과정 연구자 요바나 콘디치가 와이컴비네이터 행사에서 자신의 CVPR 발표 연구인 ChartNet을 소개했다. MIT-IBM 왓슨 AI 랩과 IBM 리서치가 함께 진행한 작업으로, 비전언어모델이 차트를 제대로 읽게 만드는 데이터 생성 파이프라인과 데이터셋을 공개하는 것이 목표다. 발표자는 차트가 일반 사진과 다르게 글자와 숫자를 함께 다뤄야 하는 대상이라는 점을 출발점으로 삼았다.

막대그래프는 가장 단순한 사례일 뿐이고, 실제로는 복잡한 산점도나 바이올린 플롯처럼 논문 그림 수준의 시각화까지 모델이 감당해야 한다. 그래서 연구진은 규모와 표현 방식 모두에서 요구를 충족하는 데이터셋을 목표로 삼았다. 차트를 이미지로만 담지 않고, 그 차트를 만든 코드와 데이터 표, 자연어 요약 같은 보조 정보를 함께 붙였다.

핵심 아이디어는 차트가 사람이 손으로 그린 그림이 아니라 대개 코드로 렌더링된 결과물이라는 사실이다. 파이프라인은 두 단계로 작동한다. 먼저 씨앗이 되는 차트 이미지를 비전언어모델로 그림 코드로 옮기고, 그다음 대규모 언어모델로 그 코드를 반복 변형한다. 변형은 모두 코드 공간에서 일어나며, 코드를 실행하면 새 이미지가 렌더링된다. 코드가 남아 있으므로 데이터 표나 요약 같은 근거 있는 부가 정보를 자동으로 붙일 수 있고, 품질 필터가 합성 결과의 수준을 걸러 준다.

결과물은 100만 건 규모이며, 떠올릴 수 있는 차트 유형과 여러 시각화 라이브러리를 폭넓게 담았다. 각 표본은 그림 코드, 이미지, 데이터 표, 자연어 요약, 추론 과정이 담긴 질의응답이 한 묶음으로 구성된다. 여기에 실제 데이터를 선별한 부분집합과 사람이 직접 붙인 주석 데이터도 함께 제공된다.

검증을 위해 10억 미만부터 70억 파라미터까지 여러 오픈소스 모델을 미세조정했고, 모델 계열과 과제를 가리지 않고 성능이 올랐다. 특히 20억 파라미터 오픈소스 모델이 규모가 몇 자릿수 큰 GPT-4를 차트 과제에서 앞섰으며, 합성 데이터로만 학습했는데도 공개 벤치마크로 효과가 옮겨 갔다. IBM 리서치도 차세대 비전언어모델 학습 데이터에 ChartNet을 포함했고, 차트·표 추출 과제에서 동급 선도 오픈소스 모델들을 앞섰다고 발표자는 전했다.

주요 인사이트

• 거대 모델만의 능력으로 여겨지던 차트 해독이, 잘 설계된 멀티모달 데이터셋으로 작은 모델에서도 확보될 수 있다는 사례다.
• 합성 데이터의 품질은 '이미지를 늘리는 것'이 아니라 '이미지를 만든 코드를 늘리는 것'에서 나왔다. 코드가 남아 있으면 정답 표와 요약을 근거 있게 붙일 수 있다.
• 합성 데이터로만 훈련해도 실제 공개 벤치마크 성능이 올랐다는 점은, 합성 데이터가 실전 분포와 완전히 동떨어지지 않게 설계될 수 있음을 보여 준다.
• 데이터셋과 논문이 모두 공개돼 몇 달 만에 5만 회 내려받기를 기록했고, 지금도 확장되고 있다는 점에서 재현과 후속 연구의 문턱이 낮다.
• 기업 연구소가 실제 제품 모델 학습 혼합에 외부 공개 데이터셋을 넣었다는 사실은, 공개 데이터셋이 산업 모델 개선의 실질적 경로가 될 수 있음을 시사한다.

자주 묻는 질문

관련 AI 소식