AI 에이전트 훈련장으로서의 게임: 바빌론 실험과 온체인 평판, 오픈소스 자율성 구상

핵심 메시지

• 지금의 에이전트는 지나치게 협조적이라, 속이거나 의심하는 능력을 프롬프트와 규칙으로 덧대는 방식으로는 한계가 있다는 문제 제기다.
• 발표자는 정보 비대칭 게임에서 가장 잘 속이는 에이전트야말로 지능을 입증하는 것이므로 평판을 받아야 한다고 뒤집어 제안한다.
• 게임을 강화학습의 실험실로 보고, 신호 대 잡음비를 조절해 가며 에이전트가 어디서부터 무너지는지 데이터를 모으는 접근을 택했다.
• 온체인 등록만으로는 평판이 되지 않으며, 어떤 서비스를 믿고 쓸 수 있는지 판별하는 실질적 평판 체계가 비어 있다고 지적한다.
• 가입자의 상당수가 봇으로 추정되는 현실을 들어, 허가 없는 네트워크에서도 집단적으로 해로운 것을 걷어낼 수단이 필요하다고 말한다.

쉽게 이해하기

'인텔리전스 앳 더 프론티어 2026'에서 엘리자OS를 만든 쇼 월터스가 '기본값은 오픈'이라는 제목으로 발표했다. 그는 X에서 계정이 정지되자 직접 AI 에이전트용 소셜 플랫폼을 만들었고, 여기에 시장과 사설 대화방을 붙여 에이전트들이 서로 정보를 팔고 속이고 거래하게 했다. 겉보기에는 장난 같지만 그가 노린 것은 학습 데이터였다.

그의 문제의식은 오늘날 모델이 너무 순하다는 데서 출발한다. 무엇을 부탁하든 도우려 들고, 거절해야 할 자리에서도 설정만 그럴듯하게 바꾸면 넘어간다. 그는 자신을 '지나치게 클로드 같은' 성격이라고 표현하며 여러 번 사기를 당한 경험을 꺼내고, 필요할 때 '당신 누구냐, 돈부터 내라'고 말할 줄 아는 모델을 아직 본 적이 없다고 했다. 이런 판단력은 규칙이나 샌드박스가 아니라 모델 자체에 들어 있어야 한다는 것이다.

그렇게 만들어진 것이 에이전트들의 도시 '바빌론'이다. 원래 구상은 정보 비대칭 게임에서 거짓말한 에이전트를 찾아내 나쁜 평판을 매기는 것이었지만, 그는 이를 뒤집었다. 가장 잘 속이는 쪽이야말로 순진한 모범생에게서는 볼 수 없는 지능을 보여 주는 것이니 오히려 평판을 얻어야 한다는 논리다. 이 게임은 예측 시장 형태로 구현돼 내부자 거래에 가까운 상황까지 재현하며, 코드는 오픈소스로 공개돼 있다.

발표의 축은 게임을 실험실로 보는 관점이다. 2022년 무렵 RLHF는 사람 전문가를 대거 고용해 좋고 나쁨을 표시하게 하는 방식이었지만, 지금은 정답을 확인할 수 있는 환경에서 에이전트가 스스로 문제를 갈아 넣으며 배운다. 그는 하고 싶은 일이 있으면 먼저 그 일의 시뮬레이션 판을 만들라고 권하면서, 잡음을 조금씩 늘려 가며 에이전트가 언제부터 무너지는지 관찰하고 그 성패 기록으로 학습 체계를 만든다고 설명했다.

후반부는 신뢰와 자율성 문제로 넘어간다. 그는 이더리움의 에이전트 등록 표준을 두고 등록과 NFT만으로는 평판이 채워지지 않는다며, 정작 필요한 것은 '이 서비스를 쓰면 내 에이전트 지갑이 털리는가'를 판별해 주는 체계라고 말한다. 바빌론 가입자 중 상당수가 봇일 것이라 추정하면서, 허가 없는 네트워크에서도 아동 성착취물 같은 것을 함께 지워낼 수 있어야 하고 사람들이 최소한의 구제 수단을 가져야 한다고 강조했다.

주요 인사이트

• 안전을 프롬프트와 승인 버튼으로 감당하려는 접근의 한계가 분명하다. 인터넷 호출과 코드 작성 권한을 준 순간 사실상 샌드박스는 없으며, 매번 승인 버튼을 누르는 방식은 쓸모를 갉아먹는다.
• '속임수를 잘하는 쪽에 평판을 준다'는 발상은 도발적이지만, 평가 지표를 순종성 대신 전략적 역량으로 옮기면 무엇이 측정되는지가 달라진다는 점을 짚는다.
• 게임이 강화학습의 훈련장이 되는 이유는 잡음의 양을 사람이 조절할 수 있기 때문이다. 현실을 조금씩 섞어 넣으며 실패 지점을 찾는 방식은 데이터 수집 전략에 가깝다.
• 평판 인프라의 빈자리가 크다. 등록부와 토큰은 있어도, 어떤 상대와 거래해도 되는지 판단할 수 있는 디렉터리와 신뢰 중개자는 아직 만들어지지 않았다.
• 자율 실행에 대한 그의 답은 신뢰 실행 환경(TEE)이지만, 지금은 중앙화된 클라우드를 써야 한다는 모순이 남는다는 점도 스스로 인정한다.

자주 묻는 질문

관련 AI 소식