AI 금융 제품이 신뢰를 잃는 6가지 지점과 투자심의위원이 벤더에게 요구하는 5가지 조건

핵심 메시지

• 대부분의 AI 금융 제품은 5분 동안 사람을 감탄시키도록 만들어졌고, '감탄하지 않는 것이 업무인 방'에서 살아남도록 만들어지지 않았다.
• 확신에 찬 것과 옳은 것은 다른 능력이다. 금융에서 가장 확신에 찼던 사람들이 가장 많이 틀렸고, AI는 그 습관을 사람보다 빨리 배웠다.
• 돈은 지능을 따라가지 않고 신뢰를 따라간다. '모르겠다'고 말해 본 적 없는 도구가 쓴 문서에서 신뢰는 특히 쉽게 깨진다.
• 제품의 신뢰가 깨지는 방식은 여섯 가지로 정해져 있다: 출처 등급 무시, 숫자 불일치, 모순 은폐, 사실과 추측의 혼합, 근거 추적 불가, 책임 주체의 부재.
• 이 문제를 고치는 다섯 가지 요구조건은 모두 '더 똑똑한 모델'이 아니라 배관 공사와 정직성의 문제다.

쉽게 이해하기

이 발표는 AI 엔지니어 대상 콘퍼런스에서 나온, 만드는 사람이 아니라 '심사하는 사람'의 관점을 담은 이야기다. 발표자는 홍콩·중국 본토·영국·미국에서 15년간 국경 간 인수합병과 상장, 대형 전략투자를 다뤘고 약 200번의 투자심의위원회에 앉았다고 밝힌다. 그의 일은 회사가 1억 달러를 쓰기 전에 누군가 내민 서류를 믿을지 결정하는 것인데, 이제는 그 서류를 챗봇이 내미는 경우가 늘었다.

그가 구분하라고 강조하는 두 기계가 있다. 하나는 '데모'로, 깔끔한 문서 하나가 들어가고 유창한 답 하나가 나와서 5분 동안 감탄을 끌어내는 것이 전부다. 다른 하나는 '메모'인데, 수백 페이지 공시와 녹취록에 지난주 통화에서 급히 적은 메모가 섞이고 출처의 절반이 서로 어긋나는 상황에서 논쟁을 견뎌야 한다. 긴 메일을 요약해 주는 일이 데모라면, 은행 앞에서 왜 대출 자격이 있는지 스스로 변호하는 일이 메모다.

두 세계가 만나지 않는다고 생각하기 쉽지만, 발표자는 2023년 2월 사례를 든다. 세계 최대 기술기업 한 곳이 홍보용 데모에서 새 AI 비서에게 우주망원경 질문을 던졌고 답이 틀렸다. 한 문장의 사실 오류로 주가가 하루에 약 8% 빠지며 대략 1,000억 달러의 가치가 사라졌다. 그의 팀 신입이라면 반드시 물었을 질문 — "이 주장은 어디서 왔고 확인은 했나" — 을 아무도 하지 않았기 때문이며, 그래서 그는 "이제 안전한 데모는 없다"고 말한다.

신뢰가 조용히 깨지는 방식은 여섯 가지다. ① 출처 등급을 무시하고 질문에 가까운 텍스트를 복음처럼 건네는 문제(감사받은 공시와 단체 대화방의 어림값을 구분하지 못한 실제 사례), ② 1페이지 18%와 11페이지 17.4%처럼 숫자가 어긋나는 문제(알고리즘으로 주택을 대규모 매입해 약 5억 달러를 상각하고 사업부를 닫은 미국 부동산 회사가 산업용 버전), ③ CEO 발언과 공시의 모순을 매끄럽게 덮는 문제, ④ "승인 가능성이 높다"는 추측이 초안을 거치며 '승인 받음'으로 굳는 문제, ⑤ 근거를 클릭 한 번으로 못 찾는 문제(존재하지 않는 판례 여섯 건을 인용한 뉴욕 변호사 사례), ⑥ 책임 주체가 없는 문제(챗봇이 없는 사별 할인 정책을 안내하자 "챗봇은 별개 법인"이라 항변했다가 패한 항공사 사례)다.

그가 실제 거래에 시스템을 붙이기 전 벤더에게 요구하는 조건은 다섯 가지다. 모든 주장에 출처 문단과 신뢰 등급을 붙일 것, 사실과 추측을 한눈에 구분되게 분리할 것, 숫자가 맞지 않으면 발행을 거부할 것, 출처가 충돌하면 덮지 말고 손을 들 것, 사람의 승인 게이트와 감사 로그를 남길 것. 이 목록에 '더 똑똑한 모델'은 없다. 승자는 벤치마크 점수가 아니라 지치고 회의적인 금융 담당자가 밤 11시에 탭 일곱 개를 열지 않고도 결과를 신뢰할 수 있다는 이유로 결정된다. 투자 유치도 같은 근육을 쓴다. 발표가 끝나면 당신의 자료는 심사자의 내부 메모가 되고, 입으로 말한 모든 숫자는 데이터룸과 대조된다.

주요 인사이트

• 제품 품질의 기준을 '감탄'에서 '논쟁 생존'으로 옮기는 것이 핵심이다. 요약을 잘하는 도구와, 은행 앞에서 왜 대출 자격이 있는지 스스로 변호할 수 있는 도구는 다른 물건이다.
• 출처마다 신뢰 등급을 다르게 매기는 기능은 화려하지 않지만, 검색 기반 AI가 실무에 들어가려면 반드시 먼저 필요한 배관이다.
• 모순을 사람 앞에 드러내는 것이 AI의 역할이다. 논쟁을 대신 해결하려 들면 정보가 사라지고, 조용히 넘어간 모순은 나중에 훨씬 비싸게 돌아온다.
• '클릭 한 번으로 원문에 닿는가'는 편의 기능이 아니라 제품 그 자체다. 나머지는 잘 쓰인 포장이라는 표현이 이 발표의 요지를 압축한다.
• 책임질 사람이 서명하는 구조가 없는 아키텍처는 제품이 아니라 '핑계 생성기'다. AI는 그 책임자를 대체하는 방향이 아니라 감싸는 방향으로 설계돼야 한다.

자주 묻는 질문

관련 AI 소식