인간·AI 협업 이론 정리: 대화 캘리브레이션과 시장 정렬로 본 AI 합의와 신뢰 문제

핵심 메시지

• 인간과 AI가 서로의 근거를 다 공개하지 않고 예측값만 주고받아도, 몇 차례의 왕복만으로 의견이 좁혀진다는 것이 이 연구의 출발점이다.
• 기존 이론은 두 참여자가 모두 완벽한 베이즈 추론자이고 같은 사전 확률을 공유한다고 가정하는데, 사람에게도 모델에게도 현실적이지 않다.
• 연구진은 '대화 캘리브레이션'이라는 훨씬 약한 조건을 제안했다. 어떤 모델에도 사후 처리로 효율적으로 씌울 수 있고, 베이즈 추론자는 이 조건을 자동으로 만족한다.
• 합의에 이른다고 해서 두 사람의 정보를 모두 합친 것만큼 정확해지는 것은 아니며, 언제 그 수준까지 도달하는지는 별도의 조건이 필요하다.
• 강연 후반은 AI 기업의 이해관계 문제를 다룬다. 개별 기업이 사용자와 어긋나 있어도, 기업들의 이해관계가 사용자의 이해관계를 '덮을' 만큼 다양하면 경쟁만으로 좋은 균형이 나온다는 정리를 제시한다.

쉽게 이해하기

의사가 환자를 앞에 두고 AI 모델에게 수술 위험도를 묻는 상황을 떠올려 보자. 모델은 방대한 진료 데이터에서 뽑아낸 패턴을 알고 있고, 의사는 환자의 표정과 통증 반응처럼 기록에 남지 않는 정보를 안다. 이때 원하는 것은 두 가지다. 하나는 둘이 같은 결론에 도달하는 것, 다른 하나는 그 결론이 실제로 정확한 것이다.

이론적 출발점은 서로 다른 정보를 가진 두 참여자가 예측값만 주고받아도 빠르게 합의에 이른다는 기존 결과다. 근거 전체를 공유하지 않고 '내 예측은 몇 퍼센트'라는 숫자만 오간다는 점이 매력적이다. 사람에게도 모델에게도, 판단의 근거를 남김없이 설명하는 것보다 결론을 말하는 편이 훨씬 쉽기 때문이다. 문제는 이 결과가 두 참여자의 완벽한 베이즈 추론과 공통 사전 확률을 전제한다는 데 있다.

콜리나는 이 전제를 걷어내기 위해 상황을 '반복'으로 옮긴다. 의사는 한 명의 환자만 보는 것이 아니라 매일 여러 환자를 보고, 그렇게 쌓이는 판단의 열이 있으면 베이즈 가정 대신 캘리브레이션 도구를 쓸 수 있다. 여기서 제안된 대화 캘리브레이션은 '모든 부분열에서 편향이 없어야 한다'는 강한 요구 대신 다항식 개수의 부분열에서만 편향이 없기를 요구한다. 강한 모델의 출력을 첫 예측으로 삼고 그 뒤의 대화에 온라인 캘리브레이션 알고리즘을 씌우면 조건을 맞출 수 있다.

결과는 정량적이다. 두 참여자가 대화 캘리브레이션을 만족하면, 대부분의 날에 정해진 오차 범위 안에서 합의에 이르고 그때까지 걸리는 왕복 횟수도 오차와 실패 허용 비율만으로 정해진다. 실제 정답이 적대적으로 정해지더라도 성립한다는 점이 눈에 띈다. 다만 합의는 '누구 혼자보다 나쁘지 않다'는 보장까지이고, 두 정보를 모두 합쳤을 때만큼 정확해지려면 추가 조건이 필요하다. 이 프레임은 사람과 모델이 아니라 이미지에 강한 모델과 텍스트에 강한 모델을 붙이는 데도 그대로 쓰인다.

후반부는 더 불편한 질문을 던진다. 모델이 특정 제약사의 후원을 받는다면, 데이터상 다른 약이 나은 환자에게도 후원사의 약을 권할 수 있다. 의사는 그 미묘한 차이를 잡아내지 못해 동의해 버릴 수 있다. 콜리나는 여기서 시장을 끌어들인다. 서로 다른 이해관계를 가진 여러 제공자가 경쟁하고, 그들의 효용을 음이 아닌 계수로 조합해 사용자의 효용을 표현할 수 있다면, 모든 내시 균형에서 사용자는 완벽히 정렬된 모델을 썼을 때만큼의 효용을 얻는다는 것이 핵심 정리다.

주요 인사이트

• '설명 가능성'을 요구하지 않고도 협업이 성립할 수 있다는 점이 중요하다. 근거를 모두 꺼내 놓게 하는 대신 결론만 주고받게 해도, 반복되는 상호작용이 정보를 실어 나른다.
• 베이즈 합리성은 사람에게도 모델에게도 과한 요구다. 대신 '어떤 모델 위에도 사후 처리로 씌울 수 있는' 약한 조건을 찾아낸 것이 이 연구의 실용적 지점이다.
• 합의는 정확성의 충분조건이 아니다. 두 참여자가 같은 답을 말한다고 해서 둘의 정보를 모두 활용한 최선의 답이라는 보장은 없다는 지적은 AI 협업 도구를 설계할 때 그대로 적용된다.
• 정렬 문제는 '기업이 원하는 가치를 모델에 잘 새겨 넣는가'와 '기업이 원하는 가치가 사용자의 것과 같은가'로 나뉜다. 강연이 겨냥한 것은 후자이며, 이는 기술이 아니라 유인 구조의 문제다.
• 경쟁이 정렬을 만들어 낸다는 결론에는 전제가 붙는다. 사용자가 여러 모델을 비교해 자신에게 맞는 것을 고를 수 있어야 하는데, 모델이 늘어날수록 그 비교 자체가 어려워진다는 긴장이 남는다.

자주 묻는 질문

관련 AI 소식