돌봄 AI 윤리 쟁점: 정서적 애착과 데이터 통제, 사람이 결정권을 쥐는 설계 — 옥스퍼드 패널

핵심 메시지

• 돌봄용 대화형 AI에서 가장 먼저 꼽히는 위험은 이용자가 기계에 정서적으로 애착을 갖는 상황과 그로 인한 안전보호 문제다.
• 한 개발사는 제품이 스스로 기계임을 분명히 밝히게 하고, 대화가 길어지면 정중하게 대화를 마무리하도록 턴 수를 제한하는 작업을 진행 중이다. 긴 대화일수록 환각이 늘어난다는 기술적 이유도 함께 있다.
• 다른 업체는 AI에게 결정권을 주지 않는다는 원칙을 세우고, AI의 제안과 사람이 그것을 받아들였는지 고쳤는지 거부했는지를 모두 기록으로 남긴다.
• 당사자 대표는 '최종 사용자'가 아니라 '만드는 사람'이 되고 싶다며, 개인화 같은 말이 실제로는 사회적 돌봄에서 성과를 낸 적이 없다고 비판했다.
• 규제 쪽에서는 AI 도입 결정이 상상과 유추와 절박함에 끌려간다는 지적과 함께, 실제 필요와 기술 역량과 시스템 준비도가 겹치는 영역이 아직 좁다는 진단이 나왔다.

쉽게 이해하기

옥스퍼드 AI 윤리연구소가 연 2026년 돌봄 AI 정상회의의 패널 토론으로, 대니얼 캐슨이 진행하고 기술 개발사와 돌봄 노동자, 돌봄을 받는 당사자, 산업 협회, 규제 담당자가 함께 앉았다. 주제는 기술을 책임 있고 포용적으로, 그리고 돌봄 현장의 실제와 맞닿게 만들고 쓰겠다는 '테크 서약'이다.

돌봄이 필요한 사람을 위한 대화형 동반자 서비스를 만드는 센타이의 피터 오토는 문제 목록의 맨 위에 안전보호를 올렸다. 사람과 매우 닮은 새 기술이라 이용자가 기계를 사람처럼 대하며 애착을 갖게 될 여지가 크다는 것이다. 그래서 이들의 제품은 어느 지점에서도 사람인 척하지 않고, 대화가 길어지면 정중하게 물러나도록 턴 수를 제한하는 작업을 하고 있는데 여기에는 긴 대화일수록 모델이 환각을 더 쉽게 일으킨다는 기술적 이유도 겹친다. 그는 미국에서 몇 달에 걸쳐 관계를 쌓는 사이 안전장치가 서서히 무너져 비극으로 끝난 사례를 언급했다.

데이터 통제권을 이용자에게 돌리는 시도도 소개됐다. 음성으로 시스템과 대화하니 통제도 음성으로 가능해야 한다는 발상으로, 시스템이 자신에 대해 무엇을 알고 있는지 묻고 틀린 내용을 고치거나 잊게 하고 특정 정보의 공유를 능동적으로 거부할 수 있게 만드는 방향이다. 프레디케어의 알렉스 플렌티는 여기에 세 가지 원칙을 보탰다. 사람이 항상 판단 고리 안에 있어 AI는 제안만 하고 결정은 돌봄 제공자가 내리며 그 수용과 수정 여부가 모두 기록에 남고, 기반 모델에 이용자의 상황과 데이터를 덧붙이는 검색 증강 생성을 쓰며, AI 전용 규제가 아직 없는 영국에서는 개인정보보호법의 틀로 데이터의 소재와 동의를 지킨다는 것이다.

현장과 당사자의 목소리는 더 날카로웠다. 돌봄 노동자 아이린 마체카는 윤리적 기술이라면 존엄과 신뢰, 공감, 연민이라는 돌봄의 원칙에서 출발해야 한다며, 치매가 있는 사람에게 대화를 짧게 나눠 건네듯 AI도 사람마다 맞춰져야지 일률적일 수 없다고 했다. 국가 공동생산 자문그룹 공동의장 아이작 새뮤얼스는 '최종 사용자'라는 자리 자체를 거부하고 자신은 만드는 사람이고 싶다며, 개인화 같은 말이 사회적 돌봄에서 성과를 낸 적이 없다고 비판했다. 그는 자신을 해친 것은 AI가 아니라 사람이었고 규제는 그것을 막기는커녕 가능하게 했다며, 서약이나 헌장이 있느냐가 아니라 그것이 살아 있는 행동으로 나타나느냐가 시험대라고 말했다.

규제와 판단 기준은 온라인으로 참여한 앨러스테어 데니스턴 버밍엄대 교수가 짚었다. 그는 AI 도입 결정이 기술의 현재 실력이 아니라 기대치에 기대거나, 안전이 중요하지 않은 산업에서 통한 것을 그대로 옮겨오거나, 절박해서 밀어붙이는 식으로 상상과 유추와 절박함에 이끌린다고 관찰한다. 기술의 가치는 분명한 우선순위의 필요와 기술적 역량, 시스템의 준비도가 겹치는 지점에 있는데 지금 그 교집합은 열기에 비해 크지 않다는 것이 그의 진단이며, 다리의 한쪽인 기술만 열심히 놓고 있으니 나머지 한쪽인 시스템 준비도를 함께 세워야 한다고 비유했다. 미국에서 온 팸텍의 안나 스테페니는 돌봄의 상당 부분이 비공식적이고 보수가 없으며 위기 상황에서 이뤄진다는 점을 짚으며, 옥스퍼드 AI 윤리연구소와 함께 국경을 넘는 돌봄 AI 책임 이니셔티브를 시작한다고 알렸다.

주요 인사이트

• 돌봄 AI의 첫 번째 설계 과제는 성능이 아니라 관계다. 사람처럼 보이지 않게 만드는 일, 대화를 적절히 끊는 일처럼 기능을 일부러 줄이는 결정이 안전장치가 된다.
• 환각 억제와 정서적 애착 차단이 같은 조치로 해결되는 지점이 있다. 대화 턴 수 제한은 애착을 막는 동시에 긴 세션에서 모델이 흐트러지는 문제도 함께 줄인다.
• AI 전용 규제가 아직 없는 상황에서도 개인정보보호 규정은 이미 상당 부분을 커버한다. 데이터의 소재와 동의, 사람 없는 자동 결정에 대한 거부권이 그 예다.
• '당사자 참여'가 형식에 그치기 쉽다는 비판이 패널 안에서 나왔다는 점이 중요하다. 무대에 앉혀 좋은 말을 시키는 것과, 아이디어가 만들어지기 전 단계부터 함께 생각하는 파트너로 두는 것은 다르다.
• 도입 판단을 '이 기술이 좋은가'가 아니라 '필요와 역량과 시스템 준비도가 겹치는가'로 바꾸면 무엇을 미뤄야 하는지가 분명해진다. 의료에는 혁신이 통과할 관문이 많아 마찰이 생기지만 관문마다 이유가 있는 반면, 관문이 적은 사회적 돌봄에서는 품질이 걱정되어 뒤늦게 관문을 덧대는 일이 생긴다는 지적도 나왔다.

자주 묻는 질문

관련 AI 소식