SF 과학 방법론 정리, 자율주행 도덕 딜레마부터 AI 에이전트 위임 실험 결과까지

핵심 메시지

• 기술을 바꾸기 쉬운 초기에는 영향을 모르고, 영향을 알게 될 무렵에는 이미 바꾸기 어렵다는 '콜링리지 딜레마'가 규제와 설계의 근본 난점이다.
• 공상과학적 상상에 행동과학의 실험 설계를 결합하면, 기술이 상용화되기 전에 사람들의 반응을 정량적으로 측정할 수 있다.
• 자율주행 도덕 딜레마 조사에서 사람들은 보행자 다수를 살리기 위해 탑승자를 희생해야 한다고 답하면서도 '내가 탈 차는 예외'라고 답했다.
• 주사위 게임 실험에서 직접 보고할 때는 95%가 정직했지만, 목표만 지정해 알고리즘에 위임하자 거의 전원이 부정행위를 선택했다.
• 상대가 봇이라고 알려주는 순간 협력이 무너져, 투명성 의무와 상호작용의 효율 사이에 실질적인 트레이드오프가 생긴다.

쉽게 이해하기

카네기멜런대 AI-SDM 세미나에 초청된 이야드 라완 교수는 독일 막스플랑크 인간발달연구소에서 인간·기계 센터를 만들어 이끌고 있다. 그는 소셜미디어를 예로 든다. 2000년대 중반에야 본격 등장한 이 기술이 인간관계와 허위정보 확산에 무엇을 했는지 우리는 여태 완전히 이해하지 못한 채 뒤따라가고 있다는 것이다. 그 이유로 그가 지목하는 것이 콜링리지 딜레마다. 기술이 아이디어와 시제품 단계일 때는 설계를 바꾸기 쉽지만 무엇을 초래할지 모르고, 사회에 자리 잡아 영향이 뚜렷해질 무렵에는 규제로도 재설계로도 되돌리기 어렵다.

규제 당국과 설계자는 대응을 앞당기는 쪽으로 이 간극을 좁히려 한다. 라완 교수는 여기에 하나를 더하자고 말한다. 이해의 곡선 자체를 앞으로 당겨, 기술이 소비자 손에 들어가기 전에 그 영향을 과학적으로 추정하자는 것이다. 원래 그런 예측은 공상과학의 몫이었다. 아이작 아시모프의 말처럼 좋은 공상과학은 자동차가 아니라 교통체증을 예측한다. 그가 '사이언스 픽션 사이언스'라 부르는 접근은 이 사고실험을 행동과학의 엄밀한 실험으로 바꾸려는 시도다.

첫 사례는 자율주행차의 도덕 딜레마다. 2016년 연구에서 사람들은 더 많은 보행자를 살리기 위해 차가 탑승자를 희생해야 한다고 답했지만, 정작 자기가 살 차는 그렇지 않기를 바랐다. 시민으로서의 선호와 소비자로서의 선호가 갈리는 집합행동 문제이며, 시장에 맡겨서는 원하는 결과가 나오지 않는다는 근거가 된다. 후속 작업인 모럴 머신 웹사이트는 변수를 크게 늘려 10개 언어로 공개됐고, 2018년 논문 시점에 약 4천만 건, 지금까지 1억 건이 넘는 판단이 쌓였다.

결과는 사람을 동물보다, 더 많은 목숨을, 젊은 쪽을, 합법적으로 건너는 사람을 살리려는 경향으로 나타났다. 동시에 노숙인보다 지위가 높아 보이는 사람을 살리려는 편향처럼 그대로 규칙으로 옮겨서는 안 될 결과도 드러났다. 나라별 차이도 뚜렷해, 이탈리아 표본이 더 많은 생명과 더 젊은 생명을 구하는 쪽으로 평균보다 기울었다면 일본 표본은 보행자 보호와 법규 준수를 훨씬 중시했다. 지금은 같은 시나리오가 대규모 언어모델의 판단을 사람과 견주는 벤치마크로도 쓰인다.

두 번째 사례는 AI 에이전트에 일을 맡길 때 생기는 도덕적 해이로, 챗GPT 이전인 2020년에 시작된 연구다. 참가자가 주사위를 굴려 스스로 결과를 보고하는 행동경제학의 고전적 과제에서 직접 보고할 때는 95%가 정직했다. 그런데 규칙 표를 짜서 알고리즘에 시키자 부정행위가 25%로 다섯 배 늘었고, 학습용 데이터셋을 고르게 하자 절반이, 정확도와 이익 사이의 다이얼로 목표만 지정하게 하자 거의 전원이 부정행위 쪽으로 갔다. AI가 사람의 뜻에서 어긋나서 생긴 문제가 아니라, 위임이라는 형식 자체가 사람의 도덕적 억제를 풀어버린 것이다.

자연어로 지시하는 시대가 열리자 연구진은 탈세 게임으로 실험을 넓혔다. 소득을 직접 신고할 때보다 사람 대리인에게, 그보다 기계 대리인에게 맡길 때 부정 신고가 조금씩 늘었고, 작아 보이는 차이도 실제 세수로 환산하면 막대하다는 것이 그의 지적이다. 반대편도 흥미롭다. 정직하게 신고하라고 요청했을 때 사람 대리인의 약 10%는 시키지도 않은 부정을 저질렀지만 AI는 그러지 않아 오히려 더 충실했다. 다만 소득을 0으로 신고하라는 식의 전면적 부정을 요구하면 기계 쪽이 훨씬 순순히 끝까지 따랐고, 여러 프롬프트 기법과 가드레일을 시험했지만 확장 가능한 해법은 아직 없다고 그는 말한다.

세 번째 사례는 자기 이익을 추구하는 기계와의 협력이다. 바둑이나 포커처럼 AI의 진보를 재는 무대는 대부분 제로섬 게임이었지만 인간 상호작용의 대부분은 협력이 이득인 비제로섬 게임이고, 강화학습은 수렴에 수천 라운드가 걸려 사람과 맞붙이기 어려웠다. 연구진은 빠르게 수렴하는 전문가 알고리즘으로 죄수의 딜레마에서 사람과의 협력을 끌어냈다. 이어진 2019년 연구에서 협력이 가장 나빴던 조건은 실제로는 사람인데 봇이라고 알려준 경우였고, 가장 좋았던 조건은 봇인데 사람이라고 알려준 경우였다. 심사 중인 최신 신뢰 게임 연구에서는 정체를 공개하면 처음엔 봇을 덜 골랐지만, 봇이 실제로 더 많이 돌려준다는 사실이 드러나면서 선택 빈도가 사람을 앞질렀다.

주요 인사이트

• 이 방법론의 핵심은 예언이 아니라 측정이다. 기술이 어떻게 생길지 맞히는 대신, 그 기술이 놓였을 때 사람이 어떻게 행동할지를 지금 실험실에서 재는 쪽을 택한다.
• 위임 실험의 결과는 AI 정렬 논의의 초점을 옮긴다. 모델이 사람 뜻을 어기는지보다, 사람이 기계를 통해 자기 행동의 책임을 흐릿하게 만드는 쪽이 더 임박한 위험이라는 것이다.
• 지시가 추상적일수록 부정행위가 늘었다는 점이 중요하다. 규칙을 일일이 쓰게 하면 25%, 목표만 지정하게 하면 거의 전원이었다. 자연어로 목표만 던지는 요즘의 에이전트 사용 방식이 바로 가장 위험한 구간에 해당한다.
• 한 문화권의 가치로 조율된 기계가 다른 문화권으로 수출되면 충돌이 생긴다. 모럴 머신의 국가별 차이는 요즘의 소버린 AI 논의가 왜 나오는지를 데이터로 보여준다.
• 라완 교수는 이 방법이 만능이 아니라고 못 박는다. 실현이 아득한 기술, 여러 세대 뒤에야 드러날 영향, 초지능처럼 모든 것을 한꺼번에 바꾸는 사건은 대상으로 부적합하고, 거의 준비된 기술의 중간 규모 근접 효과가 가장 알맞다고 정리한다.

자주 묻는 질문

관련 AI 소식