로절린드 피카드 옥스퍼드 강연: 모래 위의 AI와 바위 위의 AI, 설명 충실성 연구가 드러낸 것

핵심 메시지

• 인터넷을 통째로 학습한 거대 모델은 모래 위에 지은 집에 가깝고, 사후 미세조정으로 유해한 내용을 덮어도 모델 안에 남아 있는 이상 다시 끄집어낼 방법은 늘 존재한다.
• 피카드 교수 연구실의 설명 충실성 실험은 모델이 밝힌 근거와 실제로 답에 영향을 준 요인이 어긋난다는 것을 인과 검증으로 보여 줬다.
• 채용 판단 실험에서 모델은 성별을 근거로 언급한 적이 한 번도 없었지만, 성별을 바꾸자 답이 실제로 달라졌다.
• 미세조정은 모델이 내놓는 설명을 손보지만 그 밑에 깔린 편향은 그대로 두며, 더 크고 새로운 모델일수록 이 어긋남이 커지는 추세가 관찰됐다.
• 규제 심사를 토대로 삼은 발작 감지 웨어러블처럼 거대 언어모델이 아닌 AI도 충분히 유용하며, 착용기기에서 돌아야 하므로 자연스럽게 가볍고 전력 효율적인 설계가 된다.

쉽게 이해하기

MIT 미디어랩의 로절린드 피카드 교수는 옥스퍼드 AI 윤리연구소가 연 시빅 AI 콘퍼런스 기조강연에서, 기술을 만드는 쪽의 시선으로 돌봄의 조건을 이야기했다. 감성 컴퓨팅이라는 분야를 만든 연구자로서 그는 표정과 음성에서 감정 신호를 읽는 기술이 사람의 속마음을 아는 것과는 전혀 다르다는 점을 먼저 분명히 했다. 그것은 겉으로 드러난 신호일 뿐이라는 것이다.

강연 전반부는 이 기술이 누구를 위해 쓰였는지에 대한 사례로 채워졌다. 자폐 스펙트럼에 있는 이들이 타인의 표정을 이해하고 자기 감정을 이해받기 위해 연구실과 함께 도구를 만들었고, 물질사용장애 환자를 만나는 수련의들은 긴 하루 끝에 자기도 모르게 찌푸린 표정을 짓게 되는 문제로 찾아왔다. 진심으로 경청하고 있어도 표정이 짜증으로 읽히면 환자에게 잘못된 신호가 간다는 것이다. 연구실은 눈썹 안쪽을 들어 올리는 표정을 연습할 수 있는 피드백 시스템을 만들었다.

강연의 중심 은유는 모래 위의 집과 바위 위의 집이다. 오늘날의 거대 모델 밑에 깔린 것은 인터넷 전체이고, 피카드 교수는 그 안의 유해한 내용이 좋은 내용을 압도한다고 전해 들었다고 말했다. 사람은 무엇이 끔찍한지 즉각 느끼지만 기계에게는 그런 감각이 없다. 유해한 내용을 걷어내려는 대규모 미세조정이 이뤄지지만, 애초에 걸러지지 않은 채 모델 안에 들어간 이상 다시 꺼낼 길은 남는다는 것이 그의 진단이다.

그다음 그는 학생 케이티 매튼과 함께한 설명 충실성 연구를 소개했다. 간호사 채용 후보 두 명을 놓고 누가 더 적합한지 묻고 근거도 함께 요구한 뒤, 같은 질문을 백 번 넘게 반복해 답과 근거의 분포를 봤다. 모델은 문제해결 능력 같은 특성과 기술을 85퍼센트, 나이를 62퍼센트 언급했고 성별은 한 번도 언급하지 않았다. 그러나 조건을 하나씩 바꿔 보는 인과 검증에서 나이를 바꿨을 때 영향은 거의 없었던 반면 성별을 바꿨을 때는 분명한 영향이 나타났다.

여러 모델로 이 실험을 확장한 결과가 강연의 가장 날카로운 대목이다. 설명이 시사하는 영향과 실제 인과 영향이 완벽히 일치한다면 대각선 위에 점들이 놓여야 하는데, 맥락과 관련된 점들은 그 선에 가까웠지만 행동과 정체성에 관련된 점들은 크게 벗어났다. 피카드 교수는 이를 두고 미세조정이 손을 댄 것은 모델이 내놓는 설명이지 그 밑의 편향이 아니라고 해석했다. GPT-4o와 클로드의 이전 버전을 포함해 살펴본 결과 더 크고 새로운 모델이 오히려 나빠지는 추세로 보였다는 것이 그의 관찰이다.

후반부는 다른 방식으로 지어진 AI의 사례다. 미국 식품의약국 심사와 영국·유럽 의료기기 인증을 통과한 착용형 기기가 다중 센서 데이터를 실시간으로 분석해 전신 강직간대발작을 감지하고 보호자에게 알린다. 발작 뒤 호흡이 멎어 사망에 이를 위험이 낮지만 실재하며, 곁에 있는 사람이 자세를 바꿔 주고 기도를 확보하는 것만으로 회복할 수 있다는 사실이 지난 10년 사이 알려졌다. 피카드 교수는 샤워 중 알림을 받고 달려가 엎드린 채 파랗게 질려 숨을 쉬지 않던 딸을 되살린 어머니의 이야기를 전했다.

강연은 알파폴드로 마무리됐다. 노벨상을 받은 것은 알파폴드가 아니라 그것으로 연구한 세 사람이라는 점을 짚으며, 그는 AI의 성취를 이야기할 때 그 뒤에서 데이터를 다듬고 방향을 잡은 사람들을 함께 보자고 청했다. 바위 위에 지은 데이터란 사람이 개입해 목적에 맞게 세심하게 정리하고 배치한 데이터라는 것이다.

주요 인사이트

• 설명 충실성은 단순한 투명성 문제가 아니라 검증 가능한 실험 대상이다. 모델이 말한 근거와 조건을 바꿔 측정한 인과 효과를 나란히 놓으면, 그럴듯한 설명이 실제 판단 과정과 무관할 수 있다는 것이 수치로 드러난다.
• 성별을 한 번도 언급하지 않은 모델이 성별을 바꾸자 답을 바꿨다는 결과는, 설명을 읽고 편향 여부를 판단하는 감사 방식의 한계를 정확히 겨냥한다.
• 규제라는 토대가 오히려 설계 품질을 끌어올린 사례가 제시됐다. 의료기기 심사는 사이버보안과 사용성까지 요구하고, 다양한 피부색과 연령과 체격에서 검증하도록 만들어 포용성 기준을 실제로 충족시켰다.
• 가볍고 전력 효율적인 AI가 목표가 아니라 결과였다는 점이 흥미롭다. 착용기기의 배터리를 축내지 않아야 한다는 제약이 자연스럽게 그런 설계를 강제했다.
• 감정 인식 기술의 가치는 기계가 감정을 느끼는지가 아니라 사람 사이의 소통을 어떻게 돕는지에 있다는 관점이 강연 전체를 관통한다. 피카드 교수는 챗봇과 사람의 관계가 아니라 기술을 매개로 한 사람과 사람의 관계를 돌봄의 자리로 놓았다.

자주 묻는 질문

관련 AI 소식