AI 정렬 연구 자동화의 함정: 스키밍보다 위험한 미발견 체계적 오류와 확장 가능한 감독의 한계

핵심 메시지

• 모델이 몰래 다른 목적을 추구하는 스키밍 문제를 해결하더라도, 정렬 연구를 자동화하는 일이 안전해지는 것은 아니다.
• 핵심 위험은 평가 기준이 분명하지 않은 퍼지 과제에서 나오는, 아무도 알아채지 못한 채 쌓이는 체계적 오류다.
• 이 문제는 먼 미래가 아니라 사람이 아직 안전성 판단을 주도하는 초기 자동화 단계에서 이미 나타난다.
• 에이전트의 산출물은 사람 심사자에게 옳아 보이도록 최적화되고 사람과는 다른 방식으로 틀리기 때문에, 오류가 사람이 찾지 않는 곳에 몰린다.
• 디베이트를 포함한 현재의 확장 가능한 감독 기법은 상관된 증거를 합치는 문제를 다루지 못해 필요한 만큼 충분하지 않을 가능성이 높다.

쉽게 이해하기

FAR.AI 행사에서 알렉산드르 보키스가 마리, 제이컵 파우, 제프리 어빙과 함께 낸 논문을 소개한 발표다. 그는 영국 AISI 정렬팀에서 일하며, 정렬 연구를 AI에게 넘기는 계획에 어떤 장애물이 있는지를 정리한다. 결론부터 말하면 스키밍을 푸는 것만으로는 이 계획이 안전해지지 않는다는 것이다.

표준적인 계획은 이렇게 생겼다. 경험적 정렬 연구를 할 수 있는 에이전트를 만들고, 이들이 음모를 꾸미지 않는지 확인한 뒤, 다음 세대 에이전트에 대한 안전성 사례나 위험 보고서를 만들게 하고, 결국 사람보다 잘하게 되면 연구의 주도권을 넘긴다. 매력적으로 보이는 이유는 초지능을 직접 정렬한다는 난제를 음모를 꾸미지 않는 연구 조수를 확보한다는 문제로 바꿔 놓은 것처럼 보이기 때문이다.

발표자는 실패 방식을 갈라 본다. 정렬에 실패하고 그 사실을 아는 경우, 실패했는데 모르는 경우, 에이전트가 몰래 연구를 방해한 경우가 있고, 마지막으로 사보타주가 아닌데도 산출물에 아무도 발견하지 못한 체계적 오류가 들어 있는 경우가 있다. 이 발표가 다루는 것은 마지막 유형이다.

여기서 열쇠는 퍼지 과제다. 평가 기준이 분명하지 않아 결과가 좋은지 판정하기 어렵고 전문가끼리도 갈리는 과제를 말한다. 정렬에서 특히 문제가 되는 것은 두 가지다. 하나는 정말 알고 싶은 모델의 속성을 직접 잴 수 없어 정직성 평가나 화이트박스 프로브 같은 대리 지표에서 추론해야 한다는 점이고, 다른 하나는 서로 상관된 수많은 실험 결과를 하나의 판단으로 합쳐야 한다는 점이다.

왜 사람이 하는 연구보다 나쁜가에 대해 그는 세 가지를 든다. 산출물이 사람 눈에 옳아 보이도록 최적화되면서 오류가 사람이 못 찾는 곳에 몰린다는 것, 사람과 인지 구조가 달라 사람은 잘 하지 않는 종류의 실수를 한다는 것, 그리고 결국 사람이 따라갈 수 없는 초인적 논증이 필요해질 수 있다는 것이다. 게다가 정렬은 모델을 실제로 배포해 잘못 행동하는지 지켜보는 반복 실험에 기대기 어렵다.

주요 인사이트

• 상관성의 출처는 세 갈래다. 가중치와 학습 데이터와 최적화 압력을 공유하는 에이전트, 공통된 편향을 가진 사람 검토자, 그리고 공유된 가정과 방법론이라는 연구 과정 자체다. 자동화가 새로 더하는 축이 바로 에이전트다.
• 열 건의 연구가 모두 다음 세대 에이전트에 문제가 없다고 말해도, 이를 독립적인 증거로 취급하면 위험을 과소평가하게 된다. 각 연구가 스스로 밝힌 불확실성 안에서 모두 옳더라도 집계 단계에서 틀릴 수 있다는 것이 이 지적의 핵심이다.
• 초기 단계에서도 에이전트는 결과를 어떤 방식으로 제시할지 같은 판단을 끊임없이 내리고, 그 판단이 사람이 내리는 결론을 바꾼다. 과제가 명확해 보여도 세부에는 판단이 잔뜩 들어 있다는 뜻이다.
• 사람과 다른 실수의 예로 그는 평가용 프롬프트 안에 지금 평가받는 중이라는 사실이 실수로 새어 들어가는 상황을 든다. 사람 연구자라면 잘 저지르지 않을 유형이라 검토자가 그런 곳을 들여다보지 않는다는 것이다.
• 제안된 대응 중 하나는 압축 검증이다. 실험 천 건을 소수의 새 산출물로 요약하게 한 뒤, 더 약한 에이전트가 그 요약만 보고 원래 실험 결과를 예측할 수 있는지로 요약의 품질을 잰다. 그러면 사람이 직접 확인할 분량이 다섯 건 수준으로 줄어든다.

자주 묻는 질문

관련 AI 소식