온디바이스 AI 에이전트로 만드는 접근성 게임 — 뉴욕타임스 사례

핵심 메시지

• 뉴욕타임스의 퍼즐·게임은 사람이 만들며 게임 자체에는 AI 기능이 없다. 이번 발표는 기기에서 도는 에이전트에 대한 실험적 연구다.
• 지능을 클라우드가 아니라 휴대폰 같은 기기 안에서 돌리면 지연이 줄고, 데이터가 기기 밖으로 나가지 않아 프라이버시가 지켜지며, 오프라인에서도 작동한다.
• 과거의 게임 AI(유한 상태 기계, 강화학습)와 달리 에이전트는 언어 모델이 맥락 학습으로 상황을 파악하고 인지→예측→결정→행동을 반복한다.
• 기기에서 에이전트를 돌리려면 공간(메모리)·시간(60Hz에서 프레임당 16ms)·에너지(배터리)라는 세 가지 제약을 동시에 만족해야 한다.
• 에이전트가 화면을 실시간으로 점검해 버튼 크기를 키우거나 잘못된 포커스 흐름을 고쳐, 장애가 있는 플레이어에게 게임을 맞춰준다.

쉽게 이해하기

뉴욕타임스 게임팀의 샤피크 쿠라이시와 조앤 송은 발표를 시작하며 분명한 단서를 달았다. 뉴욕타임스의 퍼즐과 게임은 사람이 만들며, Wordle Bot을 포함해 게임 자체에는 AI 기능이 들어가 있지 않다는 것이다. 이날 소개한 내용은 게임을 생성하는 기술이 아니라, 플레이 경험을 개선하기 위해 기기에서 도는 에이전트를 탐구하는 실험적 연구다.

핵심 주장은 지능을 클라우드가 아니라 사용자의 기기에서 돌리자는 것이다. 오늘날 대부분의 AI는 클라우드에서 추론을 수행하는데, 호출마다 비용과 지연이 발생한다. 반면 연산을 기기로 옮기면 클라우드 왕복이 사라져 반응이 빨라지고, 데이터가 기기를 벗어나지 않아 프라이버시가 지켜지며, 지하철 터널처럼 연결이 끊긴 곳에서도 똑똑한 AI가 작동한다. 개인화 역시 기기 안에서 더 자연스럽게 이뤄진다.

발표자들은 게임 AI의 계보를 짚었다. 1980년대 팩맨의 유령을 움직이는 유한 상태 기계는 조건 기반의 상징적 AI였고, 이후 알파고·알파제로로 대표되는 강화학습이 등장했다. 최근의 EfficientZero처럼 적은 데이터로 빠르게 배우는 표본 효율적 강화학습도 나왔다. 강화학습이 모델의 가중치를 바꿔 특정 게임에 맞춘다면, 에이전트 방식은 언어 모델이 맥락 학습으로 게임 상태를 파악하고 도구를 호출하며 새로운 상황에 적응한다. 이들은 에이전트 버전의 스페이스 인베이더, 그리고 제약 충족 그래프로 되추적하며 칸을 채우는 미니 십자말풀이 에이전트를 예로 들었다.

기기에서 에이전트를 돌리는 데는 세 가지 제약이 따른다. 공간 제약은 모델 가중치와 에이전트의 상태 이력·계획 정보, 그리고 게임을 그릴 여유 자원을 한정된 메모리에 담아야 한다는 것이다. 시간 제약은 60Hz 화면에서 프레임마다 약 16ms 안에 계획을 끝내야 한다는 것으로, 이를 넘기면 화면이 끊긴다. 에너지 제약은 배터리 수명이다. 발표자들은 이 세 제약을 함께 관리하는 제약 그래프를 제시하며, 필요할 때 공간은 약간 양보하되 시간 초과처럼 사용자 경험을 해치는 요소에는 더 큰 페널티를 주는 식으로 균형을 맞춘다고 설명했다.

후반부는 접근성에 집중했다. 조앤 송은 국제 표준 WCAG 2.2의 네 기둥(인지 가능·조작 가능·이해 가능·견고함)을 토대로, 고정된 '쉬움 모드' 대신 실시간으로 오르내리는 다이얼로 접근성을 다뤄야 한다고 제안했다. 초안 단계인 WCAG 3.0이 합격/불합격 이분법에서 브론즈·실버·골드의 등급제로 옮겨가듯, 게임도 입력 허용 오차나 단계 세분화 같은 값을 플레이어 상태에 맞춰 조절한다는 것이다. 에이전트는 시선 추적·떨리는 터치·손글씨 인식으로 플레이어를 감지하고, 화면 배치를 실시간 점검해 작은 버튼을 키우거나 키보드 사용자가 갇히는 포커스 함정을 즉석에서 풀어준다. 이들은 미래의 AI가 하나의 거대한 중앙 두뇌가 아니라 각 개인의 기기에서 그 사람에게 맞춰 도는 수십억 개의 작은 국소 두뇌일 수 있다는 전망으로 마무리했다.

주요 인사이트

• 클라우드 왕복이 사라지면 게임 반응이 기기 연산 시간 안으로 압축되고, 연결이 끊긴 곳에서도 똑똑한 AI가 작동한다.
• 강화학습은 모델의 가중치를 바꿔 특정 게임에 맞추지만, 에이전트 방식은 보상을 오래 학습하지 않고 맥락을 추론해 새로운 상황에 더 유연하게 적응한다.
• 60Hz 화면에서 프레임마다 16ms 안에 계획을 끝내지 못하면 끊김이 생기므로, 온디바이스 에이전트는 최소 에너지·최소 연산으로 다듬어야 한다.
• 접근성은 켜고 끄는 스위치가 아니라 실시간으로 오르내리는 다이얼이다. 시선 추적·떨리는 터치·손글씨 인식으로 플레이어 상태를 감지해 게임이 사람에게 맞춰간다.
• 미래의 AI는 하나의 거대한 중앙 두뇌가 아니라, 각 개인의 기기에서 그 사람에게 맞춰 도는 수십억 개의 작은 국소 두뇌일 수 있다.

자주 묻는 질문

관련 AI 소식