AI 조언자 설계: 사람의 주체성을 지키는 스탠퍼드 HCI 세미나와 GPT 코치 실험

핵심 메시지

• LLM 사용은 작업을 대신하는 '조수'에서 개인적 조언을 구하는 '조언자'로 옮겨가고 있으며, OpenAI 보고서에서 비업무 대화 비중이 2024년 53%에서 2025년 70% 이상으로 늘었다.
• 조수는 작업을 자동화하지만 조언자는 사용자를 '증강'한다. AI는 대신 운동해 줄 수 없고, 사용자의 이해와 동기를 바꿔 스스로 행동하게 도울 뿐이다.
• 건강 전문가 12명 인터뷰 결과, 코치들은 하나같이 지시하지 않는(non-prescriptive) 방식으로 고객 스스로 변화를 주도하게 했다. 이는 동기강화상담(motivational interviewing) 이론과 일치한다.
• 핵심 설계 원칙은 세 가지다: 지시하지 않기, 목표·가치·동기 같은 '정성적 맥락' 끌어내기, 사용자에 대한 불확실성을 다루기.
• GPT Coach와 Bloom 시스템 실험에서, 지시를 삼가고 사용자에게 통제권을 준 상호작용이 참가자의 마음가짐 변화와 참여를 크게 높였다.

쉽게 이해하기

발표자는 점점 더 많은 사람이 건강, 진로, 인간관계 같은 깊이 개인적인 주제를 LLM에 상담한다는 점에서 출발한다. OpenAI 보고서에 따르면 ChatGPT의 비업무성 대화는 2024년 53%에서 2025년 70% 이상으로 늘었고, 마이크로소프트·앤트로픽 보고서도 비슷하다. 문제는 우리가 LLM을 코드 작성이나 문서 정리 같은 '작업 자동화 조수'로 만들고 평가하는데, 실제 사용은 '조언자(코치·상담자·튜터)'에 가깝다는 점이다.

조수와 조언자의 차이는 근본적이다. 조수는 사용자를 대신해 행동하지만, 조언자는 사용자를 대신할 수 없다. 운동 조언을 구해도 AI가 대신 운동해 줄 수는 없다. 대신 믿음과 이해를 바꿔 더 나은 행동을 하게 돕는다. 발표자는 이를 '작업 자동화'가 아닌 '사용자 증강'이라 부르며, 1960년대 더글러스 엥겔바트가 컴퓨터를 계산기가 아니라 인간 능력을 증강하는 도구로 본 관점과 연결한다.

발표자는 신체활동 촉진을 시험대로 삼았다. AI가 대신 운동할 수 없어 오직 증강으로만 성공할 수 있고, 신체 비활동은 만성질환의 주요 원인이며, 건강은 사람들이 LLM에 가장 많이 묻는 주제이기 때문이다. 건강 전문가 12명을 인터뷰하니 코치·트레이너·물리치료사 모두 답을 주기보다 고객이 스스로 변화를 주도하도록 돕고, 청하지 않은 조언을 삼갔다. 반면 지시조정된 최신 LLM은 '현실적인 목표를 세워 보셨나요' 식으로 곧장 해법을 강요하는 경향이 강하다.

이를 해결하려 발표자 팀은 GPT Coach를 만들었다. 동기강화상담 전략, 검증된 코칭 프로그램의 온보딩 대화, 애플 헬스킷 웨어러블 데이터를 결합하고, '대화 상태·상담 전략·도구 사용'의 세 프롬프트 체인으로 원하는 코칭 행동을 유도했다. 16명 실험에서 전문가들이 표준 코딩 체계(MITI)로 평가한 결과, GPT Coach는 93% 이상 바람직하거나 중립적인 전략을 썼고, 프롬프트 체인이 없는 기본 GPT-4보다 지시적 조언이 적었다.

후속 시스템 Bloom은 이 코치를 iOS 앱에 넣어 벌 캐릭터 '비보'와 정원 은유로 여섯 가지 행동변화 상호작용을 개인화했다. 600개 예시 벤치마크로 안전성을 다듬은 뒤 54명 4주 현장연구를 했더니, 치료군에서 신체활동에 대한 마음가짐 변화가 뚜렷했고 앱 참여는 5배였다. 참가자들은 그 변화의 원인으로 '스스로 통제한다는 느낌'을 꼽았다.

마지막으로 발표자는 기술적 과제를 다룬다. 지시하지 않는 태도가 프롬프트에 하드코딩돼 있고, 좋은 코치는 '질문해서 정보를 얻을 가치'와 '이미 아는 정보로 행동할 가치'를 저울질해야 한다. 이는 사용자 상태에 대한 불확실성(잠재변수 세타)을 다루는 문제이며 강화학습의 베이즈 적응형 MDP로 형식화된다. 팀의 '제로샷 베이즈 적응 계획' 방법은 믿음을 끌어내고, 상위 전략을 순위 매기고, 최종 발화를 생성한다. 여러 환경 실험에서 이 방식은 성능을 크게 끌어올렸고, 작은 GPT-4o-mini가 일부 과제에서 강력한 GPT-5 수준에 도달했다.

주요 인사이트

• AI를 '무엇을 대신해 주는가'가 아니라 '사용자를 어떻게 증강하는가'로 보는 관점 전환이 개인적 조언 영역에서 핵심이다. 대신 행동해 줄 수 없는 일에서는 증강만이 성공 경로다.
• 정성적 맥락(왜 운동하려는가, 무엇을 중시하는가)은 자연어로 쉽게 담기므로 LLM이 잘하는 영역이다. 걸음 수·심박 같은 정량 데이터에 치우친 기존 건강 기술의 공백을 메운다.
• 질문은 두 가지를 동시에 한다. 지원에 필요한 정보를 모으고, 사용자를 대화의 능동적 주체로 초대한다. 답을 강요하는 순간 사용자의 목소리와 주체성이 사라진다.
• 지시하지 않는 코칭은 성능뿐 아니라 감정에서도 차이를 냈다. 한 참가자는 '비만'이라 단정한 의사에게 위협을 느껴 발길을 끊었지만, 강요하지 않는 시스템에는 편안함을 느꼈다.
• LLM은 프롬프트로 사용자 상태에 대한 확률적 '믿음'을 꽤 합리적으로 산출할 수 있고, 이 믿음을 계획 알고리즘에 넣으면 불확실성 아래 전략적 행동이 개선된다.

자주 묻는 질문

관련 AI 소식