임상 AI 에이전트 구축: LangGraph 평가 스택과 고위험 산업 배포법

핵심 메시지

• Abridge는 진료 대화를 임상 노트로 바꾸는 플랫폼으로, 미국 대형 병원 250곳에서 연 1억 건 이상의 대화를 처리한다.
• 의료에서는 속도가 품질을 희생해선 안 된다. 약물·용량 오기재는 곧 환자 안전 문제이며, 신뢰는 방울로 쌓이고 양동이로 쏟아진다.
• 핵심은 평가 인프라다. 커스텀 도구 난립에서 LangGraph로 옮겨 데이터셋·주석·추적·평가를 통합하고, LangSmith로 평가를 운영해 릴리스 기간을 1~2개월에서 며칠로 줄였다.
• 노트 제품을 기반으로 검색·노트 편집·처방·임상 의사결정 지원을 하나로 묶은 컴포저블 에이전트를 올렸고, 평가 복잡도는 한 단계 더 올라갔다.

쉽게 이해하기

발표자는 Abridge의 제품 총괄로, 고위험·고규제 산업에서 AI와 에이전트를 배포한 경험을 공유한다. Abridge는 임상 인텔리전스 플랫폼으로, 환자-의사 대화에서 출발해 임상·행정 워크플로를 해결한다. 미국에서 매년 20억 건 넘게 일어나는 진료 대화는 노트·청구 코드·청구·사전승인·처방 등 의료비의 상당 부분이 파생되는 가장 중요한 워크플로다. 첫 제품은 이 비정형 대화를 임상적으로 유용한 노트로 바꿔, 의사들이 문서화에 쓰는 '파자마 타임' 10~20시간을 줄여 ROI를 입증했다.

규모가 커지며 Abridge는 의료 데이터 계층의 중심에 섰다. 고객에게 명시적 데이터 권한을 받아 비식별화하고, 노트 수정·질의 같은 신호로 모델을 지속 개선한다. 이 모든 결정을 형성하는 제약은 세 가지다. 첫째, 출하 기준이 매우 높아 속도가 품질을 희생할 수 없다. 둘째, HIPAA와 PHI 데이터 처리 방식이 모든 결정을 좌우한다. 셋째, 엔터프라이즈 의료 구매자는 보안·신뢰를 기준으로 대화 상대를 고른다.

첫 번째 사례는 핵심 제품인 노트다. 노트는 단순 요약이 아니라 병원과 의사가 보상받는 청구의 근거가 되고 환자의 장기 기록이 되므로 정확성이 결정적이다. 발언을 엉뚱한 사람에게 귀속시키는 오귀속은 상향/하향 코딩 같은 법적·의료적 파장을 낳고, 처방되지 않은 약이나 잘못된 용량을 적는 환각은 곧 안전 문제다. 가장 큰 고통은 릴리스 프로세스였다. 예전엔 임상의 주석·서드파티 라벨러·서로 안 맞는 커스텀 도구로 릴리스에 1~2개월이 걸렸다.

개선은 플랫폼·평가 방식·운영 프로세스 세 축에서 이뤄졌다. 플랫폼은 자체 커스텀 도구에서 LangGraph로 이전해 데이터셋·주석·추적·평가를 한 시스템에 통합했고, 셀프 호스팅과 접근 제어·감사 가능성으로 엔터프라이즈 보안을 충족했다. 평가는 LangSmith로 운영했다. 사용자 피드백에서 모은 모델 이슈를 발생 빈도와 심각도로 우선순위화해 정확성·컴플라이언스·스타일·완결성 같은 기둥으로 묶고, 각 이슈에 대한 '판정자(judge)'를 만들었다. 초기엔 임상의가 주석 가이드를 만들고 라벨링한 뒤 프롬프트를 수동 조정해 느렸지만, APO 프레임워크로 옮겨 보정된 판정자를 자동 생성해 회전 시간을 줄였다. 근거 없는 판정자(reference-free)는 골드 노트 없이 상시 온라인 모니터링을 하고, 근거 기반(reference-based) 판정자는 전문 분과 수준까지 구체화해 이를 보완한다.

그럼에도 위험 때문에 곧바로 프로덕션에 밀지 않는다. 빠른 오프라인 평가 → 과거 진료 기록 백테스트 → 신뢰를 쌓아 얻은 일부 고객 대상 '무성(silent)' AB 테스트 순으로 신호를 모은 뒤 정식 릴리스와 상시 모니터링으로 간다. 두 번째 사례는 노트 위에 올린 통합 에이전트다. 다기록 검색, 노트 편집·처방 같은 실행, 검증된 의학 근거 기반 임상 의사결정 지원을 하나의 컴포저블 에이전트로 묶어, 상황에 맞는 도구를 호출한다. 설계 원칙은 '에어컨처럼' 배경에서 조용히 돕기, 임상의가 통제권을 갖는 에이전시, 명시적·암묵적 피드백에 반응하는 응답성이다. 다단계 시스템이라 평가 복잡도는 한 단계 더 올라, 임상 품질·안전·경계/적대 테스트·도구 선택까지 본다. 결론은 두 가지다. 평가 인프라에 선제 투자하면 속도와 품질을 모두 얻을 수 있고, 영향·규모·난이도 모두에서 의료가 최고의 빌더를 필요로 한다는 것이다.

주요 인사이트

• '신뢰는 방울로 쌓이고 양동이로 쏟아진다.' 단 한 번의 나쁜 모델 릴리스가 고객 신뢰를 무너뜨릴 수 있어, 고위험 산업의 배포 기준은 근본적으로 다르다.
• 임상 노트는 요약이 아니라 청구·법적 기록이다. 오귀속·환각이 상향/하향 코딩과 환자 안전으로 직결되므로 정확성의 무게가 일반 ML 제품과 다르다.
• 속도와 품질의 트레이드오프는 평가 인프라 선제 투자로 깰 수 있다. Abridge는 릴리스 기간을 1~2개월에서 며칠로 단축했다.
• 근거 없는 판정자(상시 온라인)와 근거 기반 판정자(분과 수준)를 층위로 섞어, 상시 모니터링과 세밀한 정확성을 동시에 확보한다.
• 주석자에게 자유 서술 설명을 요구하는 것은 디버깅뿐 아니라 '주석자가 실제로 집중하고 있는지'를 검증해 데이터 품질을 지키는 장치다.

자주 묻는 질문

관련 AI 소식