휴먼인더루프 AI 설계 - 듀오링고가 말하는 승인 아닌 판별의 인터페이스

핵심 메시지

• 사람이 AI 결과를 비판 없이 자기 판단처럼 받아들이는 '인지적 항복(cognitive surrender)'이 실제로 관찰된다. 와튼 연구에서는 AI가 맞을 때 사람 성과가 25%p 오르고 틀릴 때 15%p 떨어졌으며, 참가자 80%가 틀린 AI 답도 그대로 수용했다.
• 듀오링고 영어시험(DET)에서 정상 응시 세션에 가짜 AI 부정행위 신호를 심어 감독관에게 보였더니, 정확도 90% 이상인 감독관들이 가짜 신호의 50%를 그대로 받아들였다. 자동화 편향의 증거다.
• 문제는 모델(오탐률 1%)도 사람(숙련된 감독관)도 아니라 둘 사이의 인터페이스였다. 감독관 지침을 'AI 신호는 예비 경보일 뿐, 최종 판단은 사람이 하며 영상에서 독립 증거를 찾은 뒤에만 플래그를 확정한다'로 바꾸자 기각률이 21%p 올랐다.
• 휴먼인더루프는 모델→사람→결정의 직선이 아니라, 상호작용이 사람 행동을 낳고 그 행동이 데이터가 되어 다시 모델로 돌아오는 순환 구조다. 인터페이스가 곧 데이터 품질을 결정한다.
• 때로 해법은 더 좋은 모델이나 더 많은 감독이 아니라 상호작용 자체를 설계하는 것이다.

쉽게 이해하기

발표자는 듀오링고에서 영어시험 보안을 담당하는 소프트웨어 엔지니어 앤절 오르트만 리다. 그는 'AI 시대에는 GPS 경로나 검색 요약처럼 예전에 사람이 하던 인지 작업을 기술에 맡기면서 AI에 대한 신뢰는 커지고 경계심은 줄어든다'고 지적한다. 이 흐름이 위험한 이유는 사람이 판단을 멈추고 AI 결과를 그대로 받아들이는 순간 휴먼인더루프의 '사람'이 사실상 사고를 하지 않게 되기 때문이다.

듀오링고 영어시험은 전 세계 6,000개 기관이 신뢰하는 고부담 온라인 원격 감독 시험이다. 키 입력 패턴의 이상을 잡아내는 '카피 타이핑' 부정행위 탐지 모델은 공정성을 위해 매우 보수적으로 설계돼 오탐률이 1%에 불과하다. 연구진은 부정행위가 전혀 없는 정상 세션에 가짜 AI 신호를 붙여 감독관의 일상 업무에 섞어 넣는 실험을 했다. 결과적으로 감독관들은 가짜 신호의 절반을 그대로 수용했다. 대학 입학과 비자 결정에 영향을 주는 시험에서 결코 받아들일 수 없는 수치였다.

핵심 진단은 '모델도 사람도 문제가 아니다'였다. 그래서 팀은 인터페이스를 손봤다. 감독관 지침에 두 가지를 명확히 했다. 첫째, AI 신호는 예비 경보일 뿐이고 최종 결정권자는 감독관이다. 둘째, 플래그를 확정하려면 영상에서 독립적인 증거를 반드시 찾아야 한다. 이 단순한 문구 변경만으로 기각률이 21%p 올라, 실제 운영 환경의 정상 세션 비율에 훨씬 가까워졌다. 모델도 UI 구조도 바꾸지 않고 이룬 개선이었다.

발표는 몇 가지 구체적 인터페이스 사례를 든다. 헤드폰 탐지에서는 '헤드폰이 맞는가'와 '위반으로 플래그할 것인가'라는 두 질문을 하나의 예/아니오로 뭉쳐 물었더니, 보청기 착용자를 벌하지 않으려 '아니오'를 누르면 모델에는 잘못된 학습 신호가 갔다. 두 질문을 분리하자 데이터 품질이 좋아졌다. 글쓰기 튜터에서는 400줄짜리 통짜 피드백 대신, 초록·노랑·빨강으로 문장에 직접 표시하고 마우스를 올리면 구체적 조언이 뜨는 방식이 사람의 실제 첨삭 방식에 더 가까웠다.

코딩 에이전트 비유가 특히 인상적이다. 거대한 diff를 한 번에 던지거나 매번 확인 알림을 띄우는 에이전트는 사용자를 '승인 도장'으로 만든다. 대신 좋은 주니어 개발자처럼 계획을 세우고 좋은 질문을 하며 검토 가능한 단위로 PR을 쪼개는 에이전트가 바람직하다. 그래야 가정과 트레이드오프가 드러나고, 그 상호작용에서 나오는 풍부한 구조화 데이터가 다시 시스템을 개선한다.

주요 인사이트

• 설계 원칙 1 — 추론을 설계하라: 사람을 단순 검증자가 아니라 '조사자'로 재설정하고, 가정을 미리 드러내며, 트레이드오프를 함께 제시해 사용자가 통제권을 갖게 한다.
• 설계 원칙 2 — 위험도에 마찰을 맞춰라: 고부담 판단에는 의도적 마찰과 리뷰 게이트를 넣어 사람이 천천히 깊이 생각하게 하고, 저위험 대화형 시스템은 매끄럽게 만든다.
• 설계 원칙 3 — 모든 상호작용은 이미 라벨이다: 승인·수정·되돌림·후속 질문이 다음 학습 데이터가 된다. 특히 사람이 '예'를 누른 뒤 직접 고친 '차이(diff)'를 포착하지 못하면 거짓 신호가 데이터셋을 오염시킨다.
• '모델을 어떻게 평가할까'를 나중에 묻지 말고, 처음부터 성공의 정의와 필요한 지표·데이터를 정한 뒤 그에 맞게 상호작용을 설계하라.
• 구조화된 상호작용은 좋은 데이터를 낳고 좋은 데이터는 더 나은 모델을 낳는 복리 플라이휠을 만든다. 반대로 무심코 설계하면 모델은 자신만만해지고 사람은 도장만 찍는 악순환에 빠진다.

자주 묻는 질문

관련 AI 소식