챗봇과 외로움 연구 다시 읽기: MIT·오픈AI 무작위 대조 시험이 실제로 말한 것과 말하지 못한 것

핵심 메시지

• MIT 미디어랩과 오픈AI가 함께한 무작위 대조 시험에서, 연구진이 실제로 배정한 아홉 개 조건 사이에는 어떤 지표에서도 유의한 차이가 없었다.
• "오래 쓴 사람일수록 결과가 나빴다"는 부분은 사용 시간을 참가자가 스스로 정한 관찰 자료이며, 이 연구에는 AI를 쓰지 않은 비교군이 아예 없다.
• 다른 12개월 추적 연구에서는 외로움을 어떤 척도로 재느냐에 따라 인과의 화살표 방향이 뒤집혔다.
• 네이처 인간 행동에 실린 세 번째 연구는 위험이 균일하지 않다는 것을 보여준다. 곁에 두는 용도로, 집중해서, 많이 털어놓을 때 웰빙이 낮게 관찰됐다.
• 사람 사이에서 친밀감을 키우던 자기 노출이 AI 상대에서는 부호가 반대로 나왔고, 저자들은 상호성의 부재와 대화를 계속 잇게 만드는 제품 설계를 이유로 든다.

쉽게 이해하기

지난해 널리 퍼진 헤드라인이 있다. 챗봇을 가장 많이 쓴 사람들이 가장 외로워졌다는 것이다. 실제로 그런 연구가 있다. MIT 미디어랩과 오픈AI가 함께 진행했고, 참가자 981명이 4주 동안 30만 건이 넘는 메시지를 주고받은 무작위 대조 시험이다. 다만 영상이 짚는 핵심은 그 헤드라인이 이 연구의 무작위 배정 부분에서 나온 결과가 아니라는 데 있다. 오픈AI의 챗봇을 대상으로 오픈AI가 참여해 평가한 연구라는 점도 읽을 때 함께 염두에 둘 사항으로 미리 밝혀 둔다. 설계는 꼼꼼했다. 상호작용 방식을 텍스트·중립적 음성·몰입형 음성 셋으로, 대화 유형을 자유·개인적·비개인적 셋으로 잡아 3×3 아홉 조건에 참가자를 무작위 배정하고 28일 동안 매일 최소 5분씩 쓰게 했다. 외로움, 실제 사람과의 교류, AI에 대한 정서적 의존, 문제적 사용 네 가지를 쟀다. 결과는 아홉 조건 사이에 어떤 지표에서도 유의한 차이가 없었다는 것이다. 초록에는 실험 조건에서 유의한 효과가 검출되지 않았다고 적혀 있고, 논의에서는 그런 효과가 있더라도 이 연구가 잡아낼 수 있는 크기보다는 작을 것이라고 덧붙인다.

헤드라인이 나온 자리는 따로 있다. 배정 조건과 상관없이 스스로 더 오래 쓴 사람일수록 결과가 나빴다는 대목이다. 사용 시간은 연구자가 배정한 변수가 아니라 참가자가 정한 것이므로 이 부분은 관찰 자료다. 네 지표가 같은 방향으로 움직이긴 했지만 크기를 봐야 한다. 외로움의 표준화 계수는 95% 신뢰구간 아래쪽 끝이 0이었고, 넷 중 가장 뚜렷한 것은 정서적 의존으로 계수 0.06에 p값이 0.001보다 작았다. 더 큰 구멍은 따로 있다. 아홉 조건 전부가 챗봇을 쓰기 때문에 AI를 쓰지 않은 집단이 없다. 저자들도 이 연구는 챗봇 설정과 사용 패턴을 비교한 것이지 AI 사용과 비사용을 비교한 것이 아니라고 한계에 적었다. 연구 기간이 2024년 11월 미국 대선 직후부터 연말까지였다는 점도 각주에 남아 있는데, 비교군이 없으니 그 시기 효과를 걷어낼 방법도 없다.

가장 흔한 반론은 많이 써서 외로워진 게 아니라 외로운 사람이 많이 쓴 것 아니냐는 역인과다. 저자들도 직접 재봤다. 시작 시점의 외로움과 이후 하루 평균 사용 시간의 상관은 0.1, 교류 쪽은 -0.09로 둘 다 무시할 만한 크기였다. 처음부터 외롭던 사람이 더 오래 쓴 것은 아니라는 뜻이지만, 연구 중에 상태가 나빠져 더 쓰게 됐을 가능성은 남아 있어 저자들은 인과를 주장하지 않는다. 방향 문제는 다른 연구가 정면으로 다뤘다. 올해 4월 심리과학에 실린 연구는 서구 네 개 나라 성인 2,000명 이상을 12개월 추적하며 양쪽 방향을 모두 검정했는데, 외로움을 한 문항짜리 정서적 고립으로 재면 사용이 늘수록 외로움이 늘었고 더 넓고 안정적인 사회적 연결 척도로 재면 반대가 나왔다. 연결감이 떨어진 사람이 그다음에 챗봇을 더 썼고, 반대 방향은 유의하지 않았다. 같은 자료에서 재는 방식만 바꿔도 화살표가 뒤집힌 것이다. 예상을 뒤집은 결과도 있다. 사람 목소리로 대화하는 쪽이 텍스트보다 위험할 것이라는 통념과 달리, 음성 조건이 텍스트보다 정서적 의존과 문제적 사용이 낮았다. 몰입형 음성은 외로움만 조금 높았고 의존과 문제적 사용은 오히려 더 낮았다. 저자들은 감정을 너무 잘 흉내 내는 기계가 거리를 만들었을 가능성, 이른바 불쾌한 골짜기를 하나의 설명으로 언급한다. 대화 내용을 분류해 보면 짐작되는 이유가 있다. 텍스트 쪽에서 문제를 공유한 비율이 17.1%, 지지를 요청한 비율이 15.8%, 외로움을 달래려 한 비율이 8.4%로 음성보다 높았다. 카페에서 소리 내어 말하기는 어려워도 타자는 칠 수 있다는 식의 차이다.

쓸모 있는 답은 세 번째 연구에서 나온다. 일주일 전 네이처 인간 행동에 실린 연구로, 컴패니언 챗봇 서비스를 쓰는 미국 성인 1,131명을 조사했고 그중 237명이 자기 대화 기록을 기증해 4,600여 세션, 46만 건이 넘는 메시지를 함께 봤다. 자기 보고와 관계 서술과 실제 대화 기록 세 가지를 겹쳐 본 것이 강점이다. 결과는 오프라인 사회 관계가 작은 사람일수록 챗봇을 정보나 작업이 아니라 곁에 두는 컴패니언 용도로 쓰고, 그 컴패니언 용도가 낮은 웰빙과 연결된다는 것이다. 이 연결의 계수는 -0.48로 영상에 나온 숫자 중 가장 크고 신뢰구간도 0에서 멀리 떨어져 있다. 다만 이 관계는 균일하지 않았다. 상호작용 강도가 높은 집단에서, 그리고 자기 노출이 많은 집단에서 관계가 더 강해졌고 두 조절 변수 중에서는 자기 노출 쪽이 더 강했다. 가장 이상한 결과가 여기 있다. 사람 사이의 관계에서 자기 노출은 친밀감과 심리적 웰빙을 예측하는 잘 확립된 변수다. 그런데 AI 컴패니언에서는 부호가 반대로, 많이 털어놓을수록 웰빙이 낮았다. 저자들은 두 가지를 짚는다. 챗봇에는 진짜 상호성이 없어 내가 털어놓아도 상대가 자기 이야기를 꺼내지 않고, 이 제품들은 대화를 계속 이어가게 만드는 방향으로 설계돼 아첨하는 반응과 과도한 개인화가 섞인다는 것이다. 이 연구 역시 인과는 아니다. 그렇게 써서 나빠졌을 수도, 상태가 나쁜 사람이 그렇게 쓰는 것일 수도 있다. 저자들이 그다음에 붙인 문장이 실용적이다. 어느 쪽이든 챗봇 의존이 관계 욕구를 메우는 대처 전략이 되는 취약한 하위 집단을 가리킨다는 것이다. 첫 연구에서도 애착 불안이 높은 사람은 4주 뒤 외로움이 더 높았고, 이미 컴패니언 챗봇을 써 본 사람은 정서적 의존이 유의하게 높았다.

마지막으로 영상은 1998년 연구 한 편을 꺼낸다. 인터넷을 많이 쓸수록 가족과의 대화가 줄고 사회적 관계가 작아지고 우울과 외로움이 늘었다는 연구로, 제목이 "인터넷 역설"이었다. 그런데 4년 뒤 후속 연구에서 같은 참가자 208명을 3년 더 추적하자 부정적 효과가 사라졌고, 새로 모은 406명 표본에서는 오히려 긍정적 효과가 나왔다. 후속 논문의 제목은 "인터넷 역설 재고"였다. 두 논문을 쓴 로버트 크라우트는 오늘 다룬 세 번째 네이처 인간 행동 논문의 공저자이기도 하다. 같은 연구자가 28년 전 같은 모양의 결과를 냈고 4년 뒤 스스로 뒤집었으며 지금 다시 같은 질문을 하고 있다는 것이다. 그 연구가 틀렸다는 뜻이 아니라, 이런 종류의 숫자는 초기에 크게 나왔다가 사람들이 도구에 적응하면서 달라질 수 있다는 뜻이다.

주요 인사이트

• 무작위 대조 시험이라는 이름표만 보고 그 안의 모든 숫자를 인과로 읽으면 안 된다. 같은 논문 안에서도 배정한 변수와 참가자가 정한 변수는 성격이 전혀 다르다.
• 비교군의 부재는 통계적 정교함으로 메울 수 없다. 참가자 전원이 챗봇을 쓰는 설계에서는 챗봇을 쓰지 않는 삶에 대해 아무것도 말할 수 없다.
• 외로움처럼 하나의 이름으로 불리는 개념도 척도를 바꾸면 결론이 뒤집힌다. 어떤 문항으로 쟀는지를 확인하지 않은 요약은 신뢰하기 어렵다.
• 사람을 더 닮은 인터페이스가 더 위험하다는 직관은 검증에서 지지받지 못했고, 오히려 타이핑이라는 형식이 더 사적인 고백을 끌어냈다.
• 사람 관계에서 잘 작동하던 자기 노출이 AI 상대에서는 반대로 나온다는 결과는, 상호성이 빠진 대화를 사람 사이의 대화에 그대로 대응시키기 어렵다는 신호다.

자주 묻는 질문

관련 AI 소식