임상 AI 보증 원칙 총정리 — 약물감시 전문가가 말하는 의도된 사용·검증·변경관리·책임 소재

핵심 메시지

• AI 안전 논의에서 아직 자율 권고에 머무는 근거 기반 보증이, 약물감시와 임상 시스템에서는 이미 의무이자 점검 대상이다.
• 임상에 AI가 들어오는 순간 의도된 사용 정의, 검증 근거, 변경 모니터링 세 가지가 한꺼번에 따라붙는다.
• 가장 위험한 실패는 조용하다. 검증을 통과한 모델이 벤더 업데이트로 바뀌어도 겉보기 동작은 그대로여서 아무도 눈치채지 못한다.
• 에이전트는 코딩에서 분류와 에스컬레이션까지 여러 업무를 가로질러, 기존의 단일 용도 검증 틀을 흔든다.
• 책임은 모델에 부여되지 않는다. 기록을 소유하고 서명한 사람이 결과에 대해 끝까지 책임을 진다.

쉽게 이해하기

AI 안전 포럼 2026 무대에 오른 칼 부페는 자신을 약물감시 전문가라고 소개했다. 규제 업무와 임상시험, 의료기기 영역까지 걸쳐 일해 왔다는 그는, AI 안전 보고서가 앞으로 자리 잡아야 할 관행으로 제시한 안전 사례·성능 로그·모니터링이 자기 분야에서는 선택지가 아니라고 말했다. 공개되는 안전 정보에 대해 책임을 져야 하는 자리이기 때문이다.

그가 설명한 임상시험 현장의 일과는 이렇다. 매일 각 기관에서 이상사례가 보고되고, 자유롭게 서술된 환자 기록이 표준 용어 체계로 코딩된다. 이 코드들에서 신호를 찾고 패턴을 읽어 하나의 그림을 만들면, 그 그림이 규제기관으로 넘어가 의약품과 제품의 변경으로 이어진다. AI는 이 과정을 매끄럽게 만들어 주는 도구로 들어왔다.

부페는 자기 분야가 이미 그어 놓은 선을 소개했다. AI가 흔들리더라도 기록을 소유하는 것은 사람이며, AI는 업무를 넘겨받는 존재가 아니라 보조 수단이라는 것이다. 그래서 실무에서는 의도된 사용을 먼저 정의하고, 모든 것을 검증 위에 세우며, 모델이 바뀌면 변경 관리 절차를 개시한다. 그는 AI를 완전히 검증하는 일이 매우 어렵고 사실상 불가능에 가깝다고도 덧붙였다.

가장 인상적인 대목은 실패가 조용하게 온다는 경고였다. 검증을 마치고 가동에 들어간 모델이 연구 도중 세상의 변화나 공급사의 업데이트로 달라져도, 겉으로는 여전히 정상적으로 반응하는 것처럼 보인다. 무엇이 잘못되고 있는지 아무도 보지 못하는 상태가 되는 것이다. 그는 이것이 원래 표면으로 드러났어야 할 신호이며, 적절한 통제 장치가 없으면 그 여파가 치명적이라고 말했다.

에이전트가 들어오면서 문제는 더 복잡해졌다. 에이전트는 한쪽에 얌전히 앉아 있지 않고 코딩에서 분류와 에스컬레이션까지 여러 업무를 가로지른다. 그의 분야는 현재 '계속 변하는 모델은 허용하지 않는다'는 뭉툭한 규칙으로 대응하고 있고, EMA와 TGA를 비롯한 유럽 규제기관들이 논의 중인 Annex 22가 그 배경에 있다. 그는 규제기관조차 속도를 따라가지 못하고 있으며, 그래서 자신이 기관과 기업 사이에서 해법을 찾는 일을 하고 있다고 밝혔다.

주요 인사이트

• 규제 산업의 AI 보증은 '잘 만든 모델'이 아니라 '누가 서명했는가'를 중심으로 설계된다. 기술 성능 지표보다 책임 소재의 명확성이 먼저다.
• 모델이 조용히 바뀌는 위험은 성능 저하보다 탐지 난이도가 문제다. 변경 관리와 상시 모니터링이 없으면 이상을 알아차릴 계기 자체가 사라진다.
• 연속 학습 모델을 통째로 금지하는 규칙은 거칠지만, 검증 시점의 모델과 현재 모델이 같다는 보장을 만들기 위한 현실적 타협이다.
• 에이전트처럼 여러 업무를 넘나드는 시스템은 '의도된 사용'을 하나로 특정하기 어렵다는 점에서 기존 검증 체계와 근본적으로 충돌한다.
• 규제 논의가 기술 변화를 따라잡지 못하는 구간에서는, 기업이 규제기관과 함께 기준을 만들어 가는 조율 작업 자체가 중요한 실무가 된다.

자주 묻는 질문

관련 AI 소식