AI 문서 검토 앱 만드는 법: 인보이스 자동 추출과 검증 파이프라인 설계 실전 정리

핵심 메시지

• 문서를 정해진 기준에 맞춰 검사하고 승인 여부를 가르는 일은 업종을 가리지 않고 반복되기 때문에, AI로 옮겼을 때 효과가 가장 잘 보이는 업무에 속한다.
• 문서에서 값을 뽑아낼 때는 표와 항목 위치를 픽셀 단위로 잡아내는 전용 문서 인식 모델과 언어 모델을 함께 돌린 뒤 두 결과를 맞춰 보는 방식이 안전하다.
• 분류, 추출, 검증, 정책 적용, 계정 분류처럼 단계를 잘게 쪼개 사슬처럼 이어 두면 나중에 한 단계만 바꾸거나 빼도 전체가 무너지지 않는다.
• 추출 결과에는 항목별 신뢰도가 함께 나오므로, 기준에 못 미치는 항목만 사람에게 넘기는 승인 게이트를 만들 수 있다.
• 코딩 에이전트에게 클라우드 자원을 직접 만들 권한까지 넘기면 속도는 크게 빨라지지만, 무엇을 하고 있는지 계속 지켜봐야 한다는 전제가 붙는다.

쉽게 이해하기

영상은 가상의 시설관리 회사에서 일하는 재무 담당자를 고객으로 놓고 시작한다. 이 담당자는 여러 나라 말로 된 인보이스와 영수증을 올리면, 시스템이 알아서 내용을 읽어 부가세와 사내 규정을 검사하고 어느 회계 계정에 넣을지까지 제안해 주기를 원한다. 문제가 없으면 빠르게 승인하고, 문제가 있으면 공급업체에 돌려보낼 수 있어야 한다는 것이 요구사항의 전부다.

발표자가 가장 먼저 손을 대는 것은 코드가 아니라 데이터다. 실제로 처리하게 될 문서가 어떻게 생겼는지, 깨끗한 전자문서인지 스캔본인지, 어떤 항목이 빠져 있는지를 먼저 들여다본다. 소프트웨어 개발을 하다 AI 쪽으로 넘어온 사람들이 데이터가 문자열인지 숫자인지에만 신경 쓰고 그 데이터가 무엇을 의미하는지는 덜 따진다는 지적이, 이 단계를 왜 먼저 두는지 설명해 준다.

추출 단계에서는 미리 학습된 인보이스 전용 인식 모델을 쓴다. 언어 모델도 문서를 읽어낼 수 있지만, 전용 모델은 어느 글자가 문서의 어느 위치에 있었는지까지 좌표로 돌려주기 때문에 근거를 되짚기가 훨씬 쉽다는 것이 선택 이유다. 여기에 언어 모델로 한 번 더 읽어 두 결과를 교차 확인하는 층을 덧붙이고, 두 값이 어긋나면 어느 쪽을 믿을지 정하는 규칙을 둔다.

이후 파이프라인은 문서가 인보이스인지 영수증인지 가르는 분류에서 출발해, 항목 추출과 부가세 번호 검증, 사내 정책 검사, 그리고 어느 회계 계정으로 보낼지 고르는 두 번째 분류로 이어진다. 각 단계를 갈아 끼울 수 있는 사슬 구조로 묶어 둔 덕분에, 중간에 중복 문서 탐지 같은 단계를 나중에 끼워 넣어도 앞뒤 코드를 다시 손댈 필요가 없다.

화면 쪽에서는 문서를 끌어다 놓으면 미리보기가 뜨고, 처리가 끝나면 추출된 항목이 경고와 오류로 나뉘어 표시된다. 공급업체 이름의 신뢰도가 기준에 못 미친다는 경고는 사람이 눈으로 확인하면 되지만, 부가세 번호가 통째로 빠진 문서는 오류로 잡혀 승인 버튼 자체가 막힌다. 승인된 문서는 이력에 쌓여 나중에 다시 들여다볼 수 있다.

주요 인사이트

• 언어 모델 하나로 모든 것을 처리하려 하기보다, 위치와 좌표까지 돌려주는 전용 인식 모델을 앞에 두고 언어 모델을 검증용으로 겹쳐 쓰는 구성이 실무에서 더 잘 버틴다.
• '경고'와 '오류'를 나눈 것은 작지만 중요한 설계다. 경고는 사람의 눈을 부르고 오류는 승인을 막기 때문에, 자동화가 사람의 판단을 대체하지 않으면서도 확인해야 할 대상을 줄여 준다.
• AI가 만들어 준 코드가 돌아간다는 이유만으로 넘어가지 않고, 흩어진 함수를 하나의 구조로 다시 묶는 장면이 여러 번 나온다. 동작 여부와 이해 가능 여부는 다른 문제라는 점이 계속 강조된다.
• 클라우드 설정에서 원하는 모델이 지역이나 할당량 때문에 안 열리는 상황이 그대로 담긴다. 튜토리얼에서 잘 잘라내는 이런 마찰이 실제로는 가장 시간을 잡아먹는 부분이라는 점을 보여 준다.
• 에이전트에게 짧게 쓰라고 요구하자 100줄이 넘던 실행 스크립트가 열 줄 남짓으로 줄어든다. 생성된 코드가 불필요하게 길어지는 경향은 요구를 명시하는 것만으로도 상당 부분 줄어든다.

자주 묻는 질문

관련 AI 소식