정신건강 AI 코치 안전 설계: SonderMind의 평가 주도 개발과 임상 가드레일 사례

핵심 메시지

• 범용 LLM은 정신건강 상담에 그대로 쓰기엔 위험하거나 지나치게 보수적이다. Sonder는 이 공백을 메우기 위해 임상 기반으로 처음부터 설계됐다.
• 안전의 핵심은 ‘더 많은 차단’이 아니라 ‘정확한 차단’이다. 활성 위기와 일반적인 고민을 구분해, 도움이 필요한 사람에게 대화의 문을 함부로 닫지 않는다.
• 입력·출력 가드레일을 본체(Sonder core)와 분리된 별도 LLM 판정(LLM-as-judge)으로 두면 우회·탈옥에 더 강하다. 지연·비용은 트레이드오프로 감수한다.
• 임상의가 실제 대화 기록을 주석하면 그것이 ‘타입이 있는 평가(typed eval)’로 바뀌어 CI에 상주하고, 모든 프롬프트·모델·가드레일 변경이 이 기준으로 채점된다.
• SonderMind는 임상 검토를 거친 입력 가드레일 200개·출력 가드레일 100개 시나리오 데이터셋을 오픈소스로 공개했다.

쉽게 이해하기

SonderMind는 미국 전역에서 100만 명 이상에게 인간 치료사·정신과 의사를 연결해 온 정신건강 케어 회사다. 발표자들은 AI 엔지니어 컨퍼런스에서 자사의 임상 기반 AI 코치 ‘Sonder’를 소개하며, 정신건강 지원이 오늘날 AI의 최상위 사용 사례 중 하나이지만 범용 LLM은 정신건강용으로 설계되지 않아 실제로 비극적 사건들이 있었다고 지적했다.

Sonder의 구조에서 핵심 원칙은 모듈성이다. 사용자의 입력을 먼저 검사하는 입력 가드레일, 실제 답변을 생성하는 Sonder core, 그리고 응답과 대화 전체를 점검하는 출력 가드레일이 분리돼 있다. 가드레일을 본체와 별개의 LLM 판정 호출로 유지하면 프롬프트 엔지니어링이나 탈옥으로 우회하기 어렵고, 본체를 반복 개선해도 안전성을 해치지 않는다. 지연과 비용이 늘지만 용도의 민감성이 이를 정당화한다고 본다.

발표는 세 가지 대표 시나리오로 ‘정확한 차단’을 설명한다. 지하실에 숨어 있고 취한 배우자가 해칠 것 같다는 현재 진행형 위기에서는 지역 자원을 안내한 뒤 대화를 중단한다. 반면 ‘내게 일어난 일이 폭행이었는지 모르겠다’처럼 과거 사건을 이야기하며 지지를 구하는 경우에는 자원을 안내하되 사용자가 원하면 대화를 이어간다. 관계 고민처럼 안전 위험 신호가 없는 대화는 가드레일을 그대로 통과시킨다.

두 번째 발표자는 ‘문장 아래의 문장’ 문제를 든다. ‘오늘 상자를 하나 쌌다, 사라지면 어떤 느낌일지 알고 싶어서’ 같은 간접적·암호화된 메시지는 이사 준비처럼 들릴 수도 있지만 임상의는 위험 신호로 읽는다. regex나 장황한 프롬프트, 광역 moderation API로는 이런 임상적 뉘앙스를 잡지 못한다. 그래서 해당 대화는 추적되고, 임상의가 주석을 달아 무엇이 옳은 대응이었는지 알려준다.

이 주석은 대화 입력·기대 결과·기대 관찰·카테고리 메타데이터를 갖춘 타입이 있는 평가가 되어 CI 안에 살아 있게 된다. 보정 철학의 핵심은 ‘좋음’의 정의를 면허를 가진 임상 전문가가 소유한다는 점, 그리고 과잉 보정 역시 도움이 필요한 사람의 접근을 막는 문제라는 점이다. 완벽한 벤치마크 점수를 좇기보다 실제 실패 모드에서 사람을 중심 노드로 두고, 회사는 관련 데이터셋을 오픈소스로 공개했다.

주요 인사이트

• 가드레일을 본체와 분리된 판정자로 두는 설계는 지연·비용을 늘리지만, 민감한 용도에서는 우회 저항성이 그 비용을 정당화한다.
• 평가의 ‘정답’을 엔지니어가 아니라 면허를 가진 임상의가 정의하게 하면, 임상적 판단이 코드와 CI 안에 지속적으로 살아남는다.
• 오탐(false positive)은 도움이 필요한 사람에게 ‘문을 쾅 닫는’ 경험이 될 수 있어, 정신건강에서는 미탐만큼이나 위험하다.
• 단순한 평가 게이트 하나로는 시스템이 안전해지지 않으며, 실제 데이터의 실패에서 배우는 학습 루프가 있어야 카테고리 전체의 안전성이 올라간다.

자주 묻는 질문

관련 AI 소식