AI 정렬과 확장 가능한 감독: 샌드위칭으로 초인간 AI 감독을 미리 검증하기

핵심 메시지

• 확장 가능한 감독(scalable oversight)의 핵심 문제는, 감독해야 할 과제가 점점 복잡해지고 AI가 점점 똑똑해질수록 인간이 좋은 감독자로 남기 어렵다는 데 있다.
• OpenAI는 RLHF를 확장하는 실험을 이어 왔다. 레딧 글 요약(2020), 책을 여러 단계로 나눠 요약해 평가를 쉽게 만든 재귀적 요약(2021), 다른 모델의 요약을 비평해 인간이 결함을 50% 더 찾게 한 비평 모델(2022)이 그 예다.
• AI끼리 토론시키고 인간이 배심원처럼 더 설득력 있는 쪽을 고르는 '토론을 통한 AI 안전', 재귀적 보상 모델링, 반복적 증류·증폭 같은 더 넓은 감독 기법도 제안돼 있다.
• 아제야 코트라가 2021년 제안한 '샌드위칭'은 초인간 AI가 만들어지기 전에도 감독 기법을 검증하는 방법으로, 특정 과제에서 이미 일부 인간을 능가하는 '좁은 의미의 초인간' 모델을 활용한다.
• 전문가(정답 기준)와 비전문가(미래 인류의 대역), 그리고 비전문가보다 뛰어난 AI를 두고, 비전문가가 감독 기법만으로 AI를 더 정렬된 방향으로 이끌 수 있는지 실험해 기법을 반복적으로 개선한다.

쉽게 이해하기

영상은 "우리보다 똑똑한 AI를 어떻게 감독할까"라는 물음에서 출발한다. 지금은 인간 피드백 기반 강화학습(RLHF)으로 AI를 사람의 선호에 맞추지만, 감독해야 할 과제가 복잡해지고 AI가 똑똑해질수록 인간이 좋은 감독자로 남기 어렵다. 이것이 확장 가능한 감독의 핵심 문제이며, 영상은 이를 "해결 기법을 제안하는 일"과 "AI가 모든 과제에서 인간을 능가할 때도 감독이 가능한지"라는 두 부분으로 나눠 설명한다.

OpenAI의 실험들이 구체적 사례로 등장한다. 2020년에는 레딧 글의 요약을 만들어 사람이 평가했는데, 원문을 직접 읽어 확인할 수 있어 평가가 비교적 쉬웠다. 2021년에는 셰익스피어 '로미오와 줄리엣'의 2만 5천 단어를 5천 단어(72개 구획)로, 다시 약 700단어로, 최종 100단어 문단으로 단계적으로 요약해, 사람이 책 전체 대신 작은 요약만 평가하도록 만들었다. 2022년에는 다른 모델의 요약을 비평하는 모델을 만들어, 사람이 결함을 약 50% 더 찾게 하면서 평가 부담은 줄였다.

텍스트 생성에 국한되지 않는 더 넓은 기법도 제안돼 있다. 대표적인 '토론을 통한 AI 안전'은 전문가 증인이 배심원을 설득하는 상황에 비유된다. AI들이 각자 해법을 내고 상대의 논리적 허점을 파고들며 토론하면, 사람이 그 토론을 보고 더 설득력 있는 쪽을 고른다. 옳은 편이 토론에서 유리하다면, AI가 인간보다 문제를 깊이 이해하더라도 어느 쪽 논증이 나은지 판단할 수 있다는 발상이다. 재귀적 보상 모델링, 반복적 증류·증폭 등도 서로 밀접하게 연결된 제안으로 소개된다.

문제는 이 기법들이 모든 인간 전문가를 능가하는 AI에도 계속 통할지 미리 알기 어렵다는 점이다. 여기서 아제야 코트라가 2021년 글 "좁은 의미의 초인간 모델을 정렬하는 일의 근거"에서 제안한 '샌드위칭'이 등장한다. 오늘의 AI는 주식 고르기나 의료 조언처럼 평가하기 어려운 "흐릿한 과제"에서 이미 일부 인간을 능가한다. 알파고가 바둑에서 모든 인간을 이기는 것과 달리, GPT-4는 일부 사람보다 나은 조언을 하는 수준이지만, 바로 그런 "좁은 의미의 초인간" 모델을 활용해 초인간 AI를 다루는 연습을 미리 할 수 있다는 것이다.

샌드위칭은 정답 기준이 되는 전문가와, 도구만 갖춘 채 신뢰할 수 없지만 뛰어난 AI를 감독해야 하는 비전문가(미래 인류의 대역)를 함께 둔다. 예컨대 의학 지식이 부족한 사람들이 감독 기법만으로 GPT-4가 정확한 의료 조언을 하도록 이끌 수 있는지 보고, 그 결과를 전문가 판단과 비교한다. 2022년 논문 "대규모 언어모델의 확장 가능한 감독 진전 측정"은 비전문가에게 MMLU 객관식과 짧은 소설 관련 질문을 풀게 했는데, AI의 도움을 받은 사람은 도움 없는 사람이나 모델 단독보다 높은 점수를 냈지만 전문가 수준에는 이르지 못했고, 챗봇이 사용자 말에 너무 쉽게 동의하거나 자신 있게 말한 거짓을 비전문가가 받아들이는 문제도 드러났다.

주요 인사이트

• 중간 요약을 보게 하는 것은 학생에게 풀이 과정을 보여 달라고 하는 것과 같다. 요약이 어긋난 지점을 사람이 짚어낼 수 있어 감독의 투명성이 높아진다.
• 언어모델은 기본적으로 "다음 단어 예측"을 할 뿐 좋은 조언을 하려는 의도가 없다. 온라인에 자주 등장한 나쁜 조언이 오히려 더 그럴듯하게 예측될 수 있어, 모델의 목표와 사용자의 목표가 어긋난다.
• 샌드위칭의 목적은 미래 상황을 미리 시뮬레이션하는 것이다. 전문가는 정답 기준, 비전문가는 미래 인류의 대역으로 두어, 인간보다 뛰어난 시스템을 어떻게 감독할지 지금 연습한다.
• 2022년 실험에서 참가자들은 챗봇으로 사실을 캐묻고 복잡한 질문을 잘게 나누는 데 능숙해졌지만, 외부 자료로 검증할 수 없어 챗봇이 자신 있게 말하면 거짓도 받아들이는 한계를 보였다.
• 이런 감독 기법과 그 효과를 평가하는 방법을 함께 발전시키면, 미래의 초인간 AI를 감독할 수 있다는 "근거 있는 자신감"을 쌓아 AI 안전을 경험 과학으로 만들 수 있다.

자주 묻는 질문

관련 AI 소식