검증 가능한 금융 AI 구축법: 케플러 CEO가 말한 원자적 출처·범위 결정론·파생 체인 3원칙

핵심 메시지

• AI는 콘텐츠 생산 비용을 거의 0으로 끌어내리면서, 어려운 문제를 '생산'에서 '검증'으로 옮겨놓았다.
• 출처 표시(citation)는 사후 감사에 가깝고, 추출한 숫자가 맞는지 결정론적으로 증명하는 검증(verification)과는 다른 문제다.
• 확률 기반 모델을 아무리 평가(eval)해도 결정론이 되지는 않으므로, 계산은 모델 밖의 결정론적 도구가 맡아야 한다.
• 케플러는 원자적 출처 기록, 범위 결정론, 파생 체인이라는 세 축으로 숫자 하나하나를 원본 문서까지 되짚을 수 있게 만들었다.
• 이 구조는 금융을 넘어 법률·신약 개발처럼 근거를 되짚어야 하는 모든 분야로 확장될 수 있다.

쉽게 이해하기

AI 엔지니어 콘퍼런스 무대에 오른 케플러(Kepler)의 공동창업자 겸 CEO 비누 가네시(Vinoo Ganesh)는 팔란티어에서 컴퓨트 플랫폼을 이끌고 시타델에서 비즈니스 엔지니어링을 총괄한 이력을 소개하며 발표를 시작했다. 그는 지금까지 금융 분야의 AI 발표가 대부분 '어떻게 더 많이 만들어낼까'에 집중해 왔다고 지적했다. 정작 중요한 질문, 즉 만들어진 결과물을 어떻게 믿을 수 있게 만들 것인가는 거의 다루지 않았다는 것이다.

그의 진단은 간결하다. AI가 쓰기 문제를 읽기 문제로 바꿨다는 것이다. 코드든 마케팅 문구든 기업가치 평가 모델이든 전례 없는 속도로 뽑아낼 수 있게 됐지만, 그것이 맞는지 확인하는 일은 여전히 사람의 몫이다. 과거 헤지펀드의 우위는 수백 명의 애널리스트를 동원해 정보를 먼저 소화하는 능력에서 나왔지만, 모델이 모든 것을 읽는 순간 그 우위는 빠르게 소멸한다. 남는 것은 '모델이 내놓은 결과를 신뢰할 수 있는가'라는 문제뿐이다.

가네시는 다른 산업에는 이미 검증 장치가 있다고 짚는다. 소프트웨어에는 단위 테스트와 코드 리뷰가 있고, 의사의 처방은 약사가 한 번 더 확인하며, 조종사에게는 부조종사가 있다. 반면 금융에는 과로한 임원 한 명이 사실상 유일한 검증 계층이다. 그는 블룸버그나 팩트셋 같은 도구를 사는 진짜 이유가 책임 소재를 옮기는 데 있다고까지 말한다. 정보는 공시 자료에 이미 공개돼 있지만, 검증을 외부에 맡겼다는 사실 자체가 안전판 역할을 한다는 뜻이다. 문제는 이 도구들이 모두 읽기 전용이라, 실제 산출물을 만드는 단계에서는 도움이 되지 않는다는 점이다.

그렇다면 인용을 붙이면 되지 않을까. 그는 이 지점을 특히 강하게 반박한다. 챗봇이 출처 목록을 보여줘도 그 출처를 선별할 방법이 없기 때문이다. 개인 블로그나 커뮤니티 글은 데이터 포인트일 뿐 검증된 출처가 아니다. 출처 표시가 사후 감사라면, 검증은 '이 숫자가 이 공시 문서의 이 항목에서 나왔음을 결정론적으로 다시 증명할 수 있다'는 뜻이다. 게다가 금융에서 검증은 절대적 정답을 찾는 일이 아니다. 같은 데이터를 보고 한쪽은 매수, 다른 쪽은 매도할 수 있으므로, 검증은 조직 고유의 규칙과 절차를 지켰는지를 확인하는 일이 된다.

케플러의 해법은 모델과 계산을 분리하는 것이다. 첫째, 원자적 출처 기록에서 모델은 숫자를 직접 쓰거나 변형하지 못하고 '어디에서 가져올지'만 지정한다. 실제 기록은 데이터베이스가 담당하고, 독립 검증을 통과하지 못한 값은 사용자에게 전달되기 전에 제거된다. 둘째, 범위 결정론에서 모델은 무엇을 계산할지 결정하지만 계산 자체는 코드가 수행한다. 그는 CPU 한 사이클로 끝나는 덧셈을 수십억 파라미터 모델에 통과시킬 이유가 없다고 말한다. 셋째, 파생 체인은 매출총이익률이나 상각전영업이익 조정처럼 회사마다 계산법이 다른 지표에 대해, 어떤 값이 어떤 경로로 만들어졌는지를 되감아 재현할 수 있게 기록한다.

주요 인사이트

• 정확도를 끌어올린 추출 모델을 자랑하는 접근에 그는 회의적이다. 94% 정확도라는 성과를 언급하며, 나머지 6%에 걸린 숫자는 여전히 틀린 숫자이므로 그 정확도로 매매 결정을 내릴 사람은 없다고 지적했다.
• 여러 모델이 서로의 답을 검토하게 하는 방식도 해법이 아니라고 못박는다. 확률적 시스템끼리 교차 확인하는 것과, 숫자를 추출하고 저장하는 과정 자체가 규정대로 일어났는지 확인하는 것은 전혀 다른 일이다.
• 결정론적 도구에 계산을 넘기면 정확도만 오르는 것이 아니라 비용도 내려간다. 그는 토큰 사용량을 성과 지표로 삼는 흐름이 결국 비용 최적화 국면으로 뒤집힐 것이라며, 과거 데이터 웨어하우스 투자에서 투자수익률을 따지기 시작한 전환과 같은 일이 반복될 것이라고 봤다.
• 그는 현재 상황을 전자상거래가 보안 프로토콜을 갖추기 전 시점에 비유했다. 시장 규모는 막대하지만 신뢰 장치가 없으면 아무도 카드번호를 입력하지 않는다는 것이다.
• 고객이 가장 원하는 것은 'AI 포트폴리오 매니저'가 아니라 'AI 애널리스트'라고 그는 전했다. 실적발표 녹취록을 듣고 여러 공시를 열어 재무 모델 초안을 만드는 반복 작업을 덜어내 값비싼 애널리스트의 시간을 되찾는 쪽에 관심이 쏠린다는 설명이다.

자주 묻는 질문

관련 AI 소식