돌봄 현장의 AI 전사 도구 실태: 기록 시간 절감과 허구 기록, 지자체별 규정 혼선

핵심 메시지

• 에이다 러브레이스 연구소가 1년간 진행한 질적 연구에 따르면, 사회복지사들은 AI 전사 도구로 기록 작성 시간을 주당 1~2시간에서 많게는 근무 시간의 절반까지 줄였다고 답했다.
• 동시에 AI가 대화에 없던 내용을 기록에 만들어 넣는 사례가 확인됐다. 실제 대화에 등장하지 않은 자살 관련 진술이 돌봄 기록에 생성된 경우가 보고됐다.
• '사람이 확인한다'는 원칙의 실제 운용은 편차가 컸다. 몇 시간씩 교정하느라 시간 절감 효과를 전혀 못 느끼는 사람이 있는가 하면, 2분 훑고 시스템에 붙여 넣는 사람도 있었다.
• 지자체마다 사용 허용 범위가 제각각이고, 의료 분야에서 진행 중인 규제가 사회복지에는 그대로 적용되지 않아 현장 혼선이 크다.
• 패널에 참여한 돌봄 노동자와 가족 돌봄자들은 사고가 나면 책임이 최일선 노동자에게 돌아간다는 점, 데이터가 어디로 흘러가는지 알 수 없다는 점을 우려했다.

쉽게 이해하기

옥스퍼드대 AI 윤리연구소가 연 'AI와 돌봄' 서밋의 마지막 패널은 거버넌스와 규제, 지자체 현장의 변화를 다뤘다. 연구자, 사회복지 전공 교수, 현직 돌봄 노동자, 가족 돌봄자가 함께 앉아 각자의 자리에서 본 AI를 이야기했다. 논의의 중심에는 최근 영국 사회복지 현장에 빠르게 퍼진 AI 전사 도구가 있었다.

에이다 러브레이스 연구소의 연구원은 1년에 걸친 인터뷰 연구 결과를 소개했다. AI 전사 도구는 지원 대상자와 나눈 대화를 녹음해 자동으로 돌봄 기록을 만들어 주는 기술로, 대형 언어 모델을 기반으로 지자체 시스템 양식에 맞춘 문서를 생성한다. 현장의 지지는 강했다. 어떤 사회복지사는 이 도구를 '판을 바꾸는 물건'이라고 표현했고, 처음으로 밤 11시가 아니라 오후 5시에 퇴근할 수 있게 됐다는 증언도 나왔다. 기록을 그 자리에서 당사자에게 보여주고 원하는 대로 고칠 수 있어 소통 방식 자체가 달라졌다는 사례도 있었다.

그러나 같은 연구는 부정확성 문제도 함께 드러냈다. 실제 대화에 없던 자살 관련 진술이 기록에 만들어져 들어간 사례가 있었고, 저녁 메뉴나 날씨처럼 무관한 정보가 중요한 내용을 가리거나, 돌봄 기록에서 기대되는 사람 중심의 표현이 훼손되는 문제도 지적됐다. 현재 설계는 사람이 오류를 잡아내는 방식에 전적으로 의존하는데, 그 '사람의 확인'이 실제로 어떻게 이뤄지는지는 편차가 크다. 걸러지지 않은 부정확한 기록이 돌봄 결정을 좌우할 수 있다는 것이 연구진의 우려다.

버밍엄대 연구자는 조직이 AI를 받아들일 준비가 됐는지 점검하는 체크리스트 작업을 소개했다. 이 도구는 도입 여부를 판단하는 '의사결정 준비도'와 특정 도구를 실제로 들여올 때의 '실행 준비도'를 나눠 본다. 문헌과 조사에서 뽑은 20가지 위해 원인을 다섯 범주로 묶고 19가지 통제 수단에 연결해, 조직이 무엇을 갖췄고 무엇이 비었는지 확인하게 한다. 원래 대형 병원을 염두에 두고 만들었지만 1차 의료와 사회복지에도 쓸 수 있을지 확인하는 단계라고 했다.

현장에서 온 목소리는 더 구체적이었다. 야간에 음향 감지로 입소자 상태를 확인하는 시스템을 2년째 쓰고 있다는 돌봄 노동자는 매일 새로운 상황이 생겨 정책을 만들기 어렵고, 기본적인 전자 기록도 버거워하는 인력이 AI의 제안을 어떻게 뒤집을 수 있겠느냐고 물었다. 가족 돌봄자는 거버넌스가 대체 누구를 위한 것인지, 금융 기록처럼 내 돌봄 데이터에 누가 접근했는지 확인할 수 있는지를 물었다. 정식 도구가 없어 개인이 일반 챗봇으로 기록을 만드는 '그림자 사용'도 문제로 지적됐는데, 이 경우 지자체가 조달할 때 거치는 데이터 보호 절차가 통째로 빠지게 된다.

주요 인사이트

• 시간 절감과 안전성은 맞바꿈 관계에 가깝다. 꼼꼼히 검토할수록 절감 효과가 사라지므로, 절감 수치만으로 도입을 정당화하면 검토를 건너뛰라는 압력이 된다.
• 패널에서는 규제가 아예 없는 것보다 기존 규제가 어떻게 적용되는지 불분명한 것이 더 큰 문제라는 지적이 나왔다. 사람이 하면 결코 허용되지 않을 일을 AI가 하면 그냥 넘어가는 상황이 생긴다는 것이다.
• 도입의 실제 동인이 필요가 아니라 압박인 경우가 많다. 옆 지자체가 도입했으니 우리도 뒤처지면 안 된다는 분위기가 도입을 밀어붙인다는 관찰이 나왔다.
• 평가 역량이 있는 지자체와 없는 지자체의 격차가 크다. 전담 조달·평가 인력이 없는 곳은 생산성 지표 외에 이용자 경험에 미치는 영향을 확인할 방법이 사실상 없다.
• 공급자가 만든 것을 받기만 하는 구조를 두고 '다리가 한쪽에서만 지어지고 있다'는 비유가 나왔다. 돌봄 현장과 이용자가 무엇이 필요한지 먼저 말하는 반대편 작업이 빠져 있다는 지적이다.

자주 묻는 질문

관련 AI 소식