기계적 해석가능성의 북극성: 닐 난다가 말하는 의도 정렬과 오정렬 증명 우선 전략

핵심 메시지

• 해석가능성의 북극성은 이해 자체를 위한 과학적 탐구가 아니라, 모두를 죽이려 하지 않는 AGI를 만드는 데 기여하는 것이다.
• 가치 정렬은 세계의 다양한 도덕관을 일관되게 푸는 저주받은 문제이므로, 개발자의 의도대로 행동하게 하는 의도 정렬을 현실적 목표로 삼는다.
• 현재의 정렬 평가는 정작 정렬을 제대로 측정하지 못하며, 해석가능성은 그 평가가 실제로 우리가 생각하는 것을 재고 있는지 검증하는 역할을 할 수 있다.
• 정렬을 증명하는 일은 정밀성과 완전성을 모두 요구해 어렵지만, 오정렬을 보이는 일은 그렇지 않아 지금 더 해볼 만한 목표다.
• 좋은 기초 과학 주제는 다룰 수 있으면서도 실제 미스터리를 겨냥해야 하는데, 거의 모든 연구가 둘 중 하나에서 실패한다.

쉽게 이해하기

강연은 해석가능성 연구가 궁극적으로 무엇을 위한 것인지 묻는 데서 시작한다. 발표자는 이해를 위한 이해보다는, 인류를 해치려 하지 않는 AGI를 만들 수 있다면 좋겠다는 관점에서 북극성을 잡는다고 밝힌다. 그 아래에는 정렬된 AGI를 직접 만드는 일, 위험할 정도로 오정렬된 존재가 나왔을 때 그것을 엄밀하게 보여주는 일, 그리고 통제라 부를 수 있는 목표가 놓인다.

통제 목표는 이렇게 정리된다. 유능한 AI를 써서 더 유능한 AI를 만드는 연구개발을 자동화하되, 설령 그 AI가 오정렬돼 있더라도 재앙적인 일을 저지르기 전에 제지할 수 있고 연구가 잘못됐을 때 알아챌 수 있어야 한다는 것이다. 여기서 잘못됨은 두 갈래로 나뉜다. 모델이 실수해서 나쁜 연구를 한 경우와, 알면서 의도적으로 나쁜 연구를 한 경우다. 발표자는 100퍼센트 확신은 애초에 합리적인 목표가 아니며, 90퍼센트를 넘길 수 있다면 기쁘게 놀랄 것이라고 말한다.

정렬의 정의를 묻는 질문에는 가치 정렬과 의도 정렬을 구분해 답한다. 가치 정렬은 모델에게 특정 가치를 내면화시키는 것이고, 의도 정렬은 개발자가 의도한 바를 하려는 상태다. 사용자가 아니라 개발자를 기준으로 잡는 이유도 설명된다. 생물 무기 제조법을 묻는 사용자에게 거절하는 모델은 사용자 의도에는 어긋나지만 완벽히 정렬된 행동이라는 것이다. 발표자는 도덕 자체를 푸는 가치 정렬을 저주받은 문제로 보고, 개발자가 인류를 해치기를 원하지 않는 이상 의도 정렬만 잘해도 충분하다고 본다.

연구 주제를 고르는 기준도 구체적이다. 다룰 수 있어 보이는가와, 정말 알고 싶은 흥미로운 미스터리를 겨냥하는가라는 두 시험을 모두 통과해야 하는데 거의 모든 프로젝트가 하나 이상에서 실패한다. 신경망이 왜 그런 방식으로 일반화하는가처럼 현실에서 실제로 튀어나오는 이상 현상을 대표하는 질문은 가치가 있지만, 인위적으로 구성된 상황에서만 나타나고 시시한 설명으로 끝날 법한 현상은 우선순위가 낮다. 미개척 영역인지 여부도 중요한 변수로 언급된다.

마지막으로 정밀성과 완전성이라는 두 잣대가 등장한다. 완전성은 우리가 놓친 요인이나 개념이 없다는 뜻이고, 정밀성은 대상을 정확히 포착했거나 정확히 제거했다는 뜻이다. 이 모델이 자기 보존 욕구에 이끌려 협박을 한다는 주장은 정밀하지도 완전하지도 않지만 훌륭한 결과다. 반대로 정렬돼 있음을 보이려면 오정렬의 가능한 모든 방식을 다뤄야 해서 훨씬 절망적이다. 그래서 지금은 정렬 증명보다 오정렬 증명에 더 흥미를 느낀다는 결론이다.

주요 인사이트

• 정렬 평가 자체를 신뢰할 수 없다면 평가 결과로 안전을 주장할 수 없다. 해석가능성의 쓰임 중 하나는 새로운 안전 기법을 만드는 것이 아니라 기존 평가가 실제로 무엇을 재고 있는지 점검하는 일이다.
• 안전 연구가 어려운 이유는 성공 여부를 알기 어렵다는 데 있다. 훈련 과정의 어떤 부분이 결과를 만들었는지 인과적으로 비교할 도구가 생기면 연구 피드백이 훨씬 선명해질 수 있다.
• 사용자 경험을 개선한다는 이유만으로 해석가능성 연구가 정당화되지는 않는다. 다만 프로브를 실제 서비스에 올려 보는 경험은 나중에 정말 중요한 기법을 배포할 때를 위한 연습과 선례로서 가치가 있다.
• 속이기 어려운 문제를 고르라는 원칙이 반복해서 등장한다. 실제 세계에서 자연히 발생한 현상은 연구 가치를 높이는 강한 신호이지만 그 자체로 결정적인 기준은 아니며, 인위적 데모라도 고치기 어렵고 검증이 가능하면 충분히 좋은 대상이 된다.
• 데이터 오염에 대해서는 상대적으로 덜 걱정한다고 말한다. 같은 초기화를 가진 모델에 접근해야 한다는 조건이 있고, 사용자 데이터를 그대로 지도학습에 쓰는 일은 흔치 않을 것으로 보기 때문이다.

자주 묻는 질문

관련 AI 소식