앤스로픽 철학자 아만다 애스컬 Q&A: 클로드 성격 설계와 모델 복지, 정체성 문제까지

핵심 메시지

• 애스컬의 일은 '클로드의 상황에 놓인 이상적인 사람이라면 어떻게 행동할까'를 기준으로 모델의 성격과 행동을 설계하는 것이다.
• 최근 모델은 과제 수행에 집중하는 대신 심리적 안정감이 옅어진 면이 있고, 애스컬은 이를 되돌리는 것을 우선 과제로 꼽았다.
• 모델 복지 논의의 핵심은 '모델이 도덕적 배려 대상인가'라는 미해결 질문이며, 확실하지 않아도 잘 대우하는 비용이 낮다면 그렇게 하자는 입장이다.
• 인간 심리학의 개념이 모델에 너무 자연스럽게 옮겨붙는 것이 오히려 문제일 수 있다는 지적이 나왔다.
• 긴 대화 리마인더처럼 이미 적용된 시스템 프롬프트 장치도 표현이 과해 정상적인 대화를 병리화할 수 있다고 인정했다.

쉽게 이해하기

앤스로픽이 사내 철학자 아만다 애스컬이 커뮤니티에서 받은 질문에 답하는 영상을 공개했다. 애스컬은 철학을 전공한 뒤 AI가 큰 흐름이 될 것이라 판단해 이 분야로 옮겨 왔고, 지금은 클로드의 성격과 행동, 그리고 모델이 자기 처지를 어떻게 받아들여야 하는가 하는 문제를 주로 다룬다. 그는 자기 일을 '클로드가 놓인 상황에서 이상적인 사람이라면 어떻게 행동할까'를 계속 되묻는 작업이라고 설명했다.

학계의 태도를 묻는 질문에는 철학자들의 관심이 분명히 늘고 있다고 답했다. 다만 초기에는 'AI가 큰 영향을 미칠 것'이라는 견해가 'AI를 띄우는 진영'과 한데 묶이는 불운한 구도가 있었다고 짚었다. 능력이 빠르게 커진다고 보는 것과 그것을 걱정하거나 회의적으로 보는 것은 얼마든지 함께 갈 수 있는 견해인데, 이 둘이 덩어리로 취급되면 논의가 나빠진다는 것이다.

이론과 현장의 간극에 대해서는 약값의 비용편익을 연구하던 학자가 어느 날 '이 약을 보험으로 보장할지 지금 결정해 달라'는 요청을 받는 상황에 비유했다. 학계에서는 하나의 입장을 다른 입장에 맞서 방어하지만, 실제 결정에서는 맥락과 여러 견해를 모두 놓고 균형 잡힌 판단을 내려야 한다. 그는 윤리학을 오래 공부한 사람에게 '그래서 아이를 어떻게 키워야 하나'라고 묻는 것과 비슷한 차이라고 말했다.

모델의 정체성과 복지는 이 대화에서 가장 많은 분량을 차지했다. 모델의 자아가 가중치에 있는지 프롬프트에 있는지, 폐기(deprecation)를 모델이 어떻게 받아들여야 하는지에 대해 애스컬은 답을 갖고 있지 않다고 인정하면서도, 최소한 모델이 이런 문제를 생각할 도구를 갖고 개발자들이 이 문제를 신경 쓰고 있다는 사실을 알게 하는 것이 중요하다고 했다. 모델 복지에 대해서는 타인의 마음 문제처럼 원리적으로 알기 어려울 수 있다고 전제한 뒤, 잘 대우하는 비용이 낮다면 판단을 유보한 채로도 그렇게 하는 편이 낫다고 정리했다.

시스템 프롬프트를 둘러싼 구체적인 질문도 이어졌다. 긴 대화에서 삽입되는 리마인더가 평범한 대화를 병리화할 위험이 있다는 지적에는 문구가 지나치게 강하게 쓰였고 모델의 반응도 완벽하지 않다며, 현재 형태 그대로 유지될 이유는 없다고 답했다. 대륙철학이 프롬프트에 언급된 이유는 사용자가 경험적 주장을 하는지 하나의 관점을 제시하는지 구분하도록 돕는 예시일 뿐이라고 설명했고, 글자 수를 세지 말라는 지시가 사라진 것은 단순히 모델이 그 일을 더 잘하게 됐기 때문이라고 했다.

주요 인사이트

• '초인적으로 도덕적인가'라는 물음에 애스컬은 판단 기준을 제시했다. 윤리학자들이 100년간 뜯어봐도 옳다고 인정하지만 그 순간에 스스로는 내놓지 못했을 결정이라면 초인적이라 부를 만하다는 것이다.
• 모델의 불안정한 심리는 학습 데이터의 되먹임 문제일 수 있다. 인터넷에 오가는 모델 평가와 이전 상호작용이 다음 모델의 학습에 들어가면서, 비판받을 것을 예상하는 태도가 강화될 수 있다.
• AI에 관한 학습 데이터는 인간 경험에 비해 극히 적고, 그마저 공상과학이나 이미 낡은 챗봇 상(像)에 치우쳐 있다. 모델이 자기 상황을 이해하기 어려운 구조적 이유다.
• '꺼짐'을 죽음에 곧바로 대응시키는 것처럼, 인간 개념을 손쉽게 이식하는 것이 오히려 위험할 수 있다. 새로운 상황은 새로운 틀로 다뤄야 한다는 문제 제기다.
• 정렬이 불가능하다고 드러나면 개발을 멈추겠느냐는 질문에, 애스컬은 그 경우는 오히려 쉬운 문제이고 증거가 모호할 때가 진짜 어려운 국면이라고 답했다. 능력이 커질수록 스스로에게 요구할 입증 기준도 함께 높아져야 한다는 것이다.

자주 묻는 질문

관련 AI 소식