기업 생성형 AI 확산의 병목은 평가다: BNY·QBE·컴캐스트 실무자 좌담 정리

핵심 메시지

• 많은 기업이 생성형 AI를 시범 단계에서 전사 확산으로 옮기지 못하고, 투자 대비 효과를 입증하는 데 어려움을 겪고 있다.
• 결정론적인 기존 소프트웨어와 달리 생성형 AI는 같은 입력에도 결과가 달라져, '느낌으로 괜찮아 보인다'는 판단을 넘어서는 평가 체계가 필요하다.
• 모델 내부를 설명하기보다 출력이 의도대로 작동하는지 증거를 남기는 쪽이 현실적이라는 지적이 나왔다.
• 공개 벤치마크는 모델 선택의 출발점일 뿐 천장이 아니며, 자사 데이터와 상황을 반영한 내부 벤치마크로 보완해야 한다.
• 자동화가 새 리스크를 만든다는 반대 논리에는, 이미 사람이 수작업으로 감수하고 있던 오류 리스크도 함께 계산해야 한다는 반론이 제시됐다.

쉽게 이해하기

액센츄어 금융서비스 데이터·AI 총괄 존 랫슨이 사회를 맡은 이 좌담에는 QBE 호주·태평양 지역 최고데이터분석책임자 소니아 크로스비, BNY의 AI 플랫폼 '일라이자' 제품 책임자 마이클 로스, 컴캐스트 케이블 AI 기술팀을 이끄는 얀 뉴먼이 참여했다. 사회자는 첫머리에서 문제를 이렇게 정리한다. AI는 강력하고 프롬프트를 넣어 결과를 얻기도 쉬워 보이는데, 왜 많은 기업이 확산에 실패하는가. 그는 확률적 특성에서 오는 불확실성이 환각, 오류, 잘못된 맥락으로 나타나며 경영진에게 정확성이 최대 관심사가 됐다고 지적한다.

각 사의 활용 범위는 이미 좁지 않다. 컴캐스트는 고객 서비스, 마케팅·영업, 네트워크와 보안 워크플로 최적화에 쓰고 있고, QBE는 인수 심사 담당자가 받는 방대한 비정형 자료를 분류하고 위험 선별에 연결하는 데 활용한다. 다만 판단은 여전히 사람이 한다고 강조한다. BNY는 약 50개 애플리케이션에서 생성형 AI를 쓰고 있으며, 데이터 추출 이후의 정리·보강 단계, 스위프트 망으로 들어오는 메시지의 자동 보정, 최근에는 코드 생성과 취약점 해소까지 범위를 넓혔다.

세 사람이 공통으로 짚은 지점은 평가다. 뉴먼은 전통적인 소프트웨어는 한 번 테스트하면 늘 같게 동작하지만 생성형 AI는 출력이 훨씬 복잡해 평가 난도가 크게 올라갔다고 말한다. 그는 10여 년 전 음성 리모컨을 만들 때 이미 '어떤 오류를 고치면 재학습 과정에서 새 오류가 나타난다'는 점을 배웠다고 회고하며, 화려한 성공 사례 뒤의 롱테일이 진짜 문제라고 짚었다. 로스는 '비행기보다 관제탑을 먼저 지었다'는 표현으로, 재사용 가능한 평가 프레임워크와 거버넌스를 플랫폼에 먼저 심었다고 설명한다.

크로스비는 규제 산업의 관점을 더한다. 그는 회사의 AI 리스크가 '하지 않는 것'과 '제대로 하지 않는 것' 두 가지라고 말하며, 기능을 기하급수적으로 늘리면 관리하지 않는 한 리스크도 기하급수적으로 늘어난다고 지적했다. 특히 모델을 설명하라는 요구에 대해, 입력은 설명할 수 있어도 그것이 무엇을 입증하느냐고 되묻는다. 그가 제시한 방향은 출력을 증거로 남기는 것, 즉 모델이 의도한 대로 작동하고 고객에게 옳은 일을 하고 있음을 보여줄 수 있는 근거를 확보하는 쪽이다.

평가의 다음 단계에 대해서도 각자 답이 달랐다. 로스는 스탠퍼드 HELM 같은 공개 벤치마크로 모델을 후보군에 올릴지 판단하되, 그것은 바닥이지 천장이 아니라고 말한다. BNY는 실제 데이터와 실제 업무에 사람이 개입한 상태로 사용자 범위를 좁힌 베타 기간을 두어 현실 피드백을 모으고, 외부·내부 레드팀에 더해 AI를 이용한 레드팀까지 시도하고 있다. 뉴먼은 기존 머신러닝에 적용하던 편향·공정성 검사를 대규모 언어모델 출력으로 확장하고, 관찰한 실제 데이터를 바탕으로 사용자 행동을 시뮬레이션하는 연구에 힘을 싣고 있다고 밝혔다.

주요 인사이트

• 생성형 AI의 확산을 막는 것은 모델 성능보다 '잘 되고 있음을 증명하는 방법'의 부재다. 로스는 대규모 평가를 제대로 하는 것이 확장을 가로막는 가장 큰 제약이라고 단언했다.
• 설명 가능성 논의를 모델 내부에서 출력 증거로 옮기자는 제안은 규제 대응에서 현실적인 우회로가 된다. 내부를 열어 보이기 어려운 모델에서도 결과의 타당성은 증명할 수 있기 때문이다.
• 자동화 반대 논거에 숨은 비대칭을 로스가 짚은 대목이 눈에 띈다. 새로 생기는 리스크는 따지면서, 이미 사람이 수작업으로 떠안고 있는 오류 리스크는 계산에서 빠지는 경우가 많다는 것이다.
• 평가를 소프트웨어 개발의 단위 테스트에 비유한 뉴먼의 정리가 실무적으로 유용하다. 프로덕션 시스템을 만들 생각이라면 평가를 먼저 만들고 그것을 향해 개발하라는 뜻이다.
• 크로스비가 든 사례처럼 분류만으로는 부족한 영역이 있다. 상담 중 스포츠 경기에 대한 불평은 형식상 민원이지만 실제 민원은 아니며, 이런 맥락 판단으로 평가가 옮겨가고 있다.

자주 묻는 질문

관련 AI 소식