PaddleOCR-VL 문서 파싱 리뷰: 0.9B 모델로 표·수식·읽는 순서까지 마크다운 변환

핵심 메시지

• RAG의 출발점은 검색이 아니라 문서 파싱이다. 표·차트·이미지가 섞인 문서를 언어 모델이 이해할 형태로 바꾸지 못하면 이후 단계가 성립하지 않는다.
• PaddleOCR-VL은 0.9B이라는 작은 파라미터로 문서 파싱 평균 92.6점을 기록해, 90.7점의 MinerU를 비롯한 경쟁 라이브러리와 훨씬 큰 상용 멀티모달 모델들을 앞섰다.
• 비결은 통짜 모델이 아니라 조합이다. 문서 레이아웃을 먼저 인식하는 딥러닝 모듈이 개체의 위치·종류·읽는 순서를 잡고, 그 뒤 비전 인코더와 언어 모델 디코더가 개체별 전용 프롬프트로 마크다운을 만든다.
• 한국어 공공 사업공고 문서를 넣어 보니 병합된 셀과 순서를 나타내는 복잡한 표까지 상당 부분 살아남았고, 없는 내용을 만들어내는 환각도 두드러지지 않았다.
• 차트 인식은 기본적으로 꺼져 있어, 해당 파라미터를 켜야 문서 안의 그래프가 수치가 담긴 표로 변환된다.

쉽게 이해하기

문서 기반 RAG를 만들려면 가장 먼저 문서에서 텍스트를 뽑아야 한다. 그런데 실제 문서는 메모장 텍스트처럼 깔끔하지 않다. 이미지로 박힌 글자, 표, 차트가 뒤섞여 있어 복잡할수록 언어 모델에 이해시키기 어렵다. 영상은 이 문제를 겨냥한 여러 파이프라인형 VLM 가운데 최근 최고 성능을 기록한 PaddleOCR-VL을 살펴본다.

PaddleOCR-VL은 중국 바이두의 오픈소스 생태계인 PaddlePaddle에서 나왔다. 이 생태계는 OCR과 문서 레이아웃 분석(PP-Structure), 학습·추론 툴킷을 함께 묶고 있고, NVIDIA·인텔뿐 아니라 화웨이 어센드 칩에서도 돌아가도록 설계돼 있다. 발표자는 PaddleOCR v5의 한국어 인식 성능이 오픈소스 중에서는 가장 좋은 편이었다고 평가하며, 필기체와 읽는 순서까지 반영해 마크다운으로 만들어 주는 점을 강조한다.

성능표를 보면 PaddleOCR-VL은 평균 92.6점으로 2위 MinerU(90.7점)를 앞섰고, 텍스트·수식·표·읽는 순서 전 항목에서 1위였다. 제미나이나 미스트랄 OCR처럼 멀티모달 성능이 좋다고 알려진 훨씬 큰 모델들이 이 0.9B 모델보다 낮은 점수를 받았다는 점이 눈에 띈다. 발표자는 Paddle 생태계가 부담스럽다면 MinerU도 좋은 대안이라고 덧붙인다.

구조를 보면 왜 작은 모델로 이런 점수가 나오는지 짐작할 수 있다. 문서를 그대로 VLM에 던지지 않고, 앞단의 레이아웃 인식 모듈이 텍스트·표·차트·수식을 분리해 위치와 종류, 읽는 순서를 먼저 정한다. 그다음 NaViT 계열 비전 인코더가 각 개체를 처리하고, ERNIE 계열 언어 모델의 디코더가 개체 성격에 맞는 전용 지시문을 받아 마크다운과 JSON을 만든다. 차트라면 '이 그래프를 그리려면 어떤 표의 숫자가 있었겠는지 출력해 보라'는 식의 프롬프트가 들어가는 셈이다.

실행은 도커로 추론 서버를 띄우는 방식이 권장되며, 넉넉한 GPU 메모리(12GB 이상)가 필요하다. 윈도우 사용자는 WSL에 파이썬으로 설치하는 편이 부담이 적다. 발표자는 VRAM 8GB 환경에서 CPU 오프로딩을 섞어 21장 문서를 12분 30초에 처리했다고 밝혔다. 결과물로는 한국 공공 사업공고의 표가 셀 병합 일부 오류를 빼면 잘 살아났고, 추진 절차와 일정이 순서로 엮인 까다로운 표도 내용이 대체로 보존됐다. 해상도가 낮은 구간에서 일부 글자 오인식이 있었지만 없는 내용을 채워 넣는 환각은 크지 않았다.

주요 인사이트

• 문서 파싱 경쟁의 승부처가 모델 크기에서 파이프라인 설계로 옮겨갔다. 레이아웃을 먼저 확정하고 개체별로 전용 프롬프트를 주는 구조가, 문서 전체를 한 번에 삼키는 거대 모델보다 정확했다.
• 0.9B이라는 숫자만 보고 자원 요구를 가볍게 보면 안 된다. 실행 시 레이아웃 인식 모듈이 함께 올라가고, GPU 메모리가 모자라면 CPU 오프로딩으로 처리 시간이 급격히 늘어난다.
• 한국어 공문서는 병합 셀과 순서형 표가 많아 기존 라이브러리로는 변환이 잘 되지 않던 영역이다. 이 부분이 실측에서 상당히 살아난 것이 국내 실무자에게 가장 큰 의미다.
• 기본값이 성능을 가린다. 차트 인식이 꺼진 상태로 돌리면 문서의 그래프가 그냥 이미지로 남아, 라이브러리 성능을 실제보다 낮게 평가하게 된다.
• 파싱이 해결되면 병목은 다음으로 이동한다. 어떻게 검색하고 어떤 단위로 문맥을 잘라 언어 모델에 넘길지가 RAG 파이프라인의 다음 승부처다.

자주 묻는 질문

관련 AI 소식