스토리캐스터: 생성형 AI가 방의 벽 전체를 이야기 무대로 바꾸는 마이크로소프트 리서치

핵심 메시지

• 스토리캐스터는 헤드셋을 쓰지 않고 방의 벽 자체를 화면으로 삼아, 참여자가 공간 감각을 유지한 채 이야기 속으로 들어가게 만든다.
• 여러 대의 컬러·깊이 카메라로 방의 실시간 3차원 모델을 만들고, 그 깊이 정보를 조건으로 생성 이미지를 만들어 실제 방의 구조에 맞춰 투사한다.
• 내레이터 역할의 AI 에이전트가 대화를 이끌며, 참여자의 음성 명령에 따라 장면과 이야기가 즉석에서 바뀐다.
• 방 안의 실제 사물도 이야기 속 사물로 바꿔 보여줄 수 있어, 가구가 그대로 소품이 된다.
• 체험은 튜토리얼을 거친 뒤 3막 구조로 진행되며, 각 막마다 배경과 음향, 등장인물의 목소리가 함께 생성된다.

쉽게 이해하기

마이크로소프트 리서치가 CHI 2026에서 구두 발표한 스토리캐스터는 몰입형 스토리텔링을 관객이 함께 쓰는 방향으로 밀어붙인 연구다. 방 크기의 가상현실을 구현하는 케이브 방식은 오래전부터 있었지만, 그 안에서 보여주는 내용은 대체로 미리 정해져 있었다. 스토리캐스터는 그 지점을 바꿔, 참여자의 말에 따라 장면이 그 자리에서 만들어지도록 했다.

기술의 출발점은 방을 읽는 일이다. 여러 대의 컬러 카메라와 깊이 카메라를 보정해 결합하면 방의 실시간 기하 모델 역할을 하는 질감 있는 메시가 만들어진다. 이 장면은 먼저 큐브맵으로 렌더링된 뒤 원통형 또는 360도 깊이 이미지로 다시 렌더링된다. 바깥 풍경을 보여줘야 할 때는 벽을 지워 버리는 선택도 가능하다.

그 위에서 생성이 일어난다. 깊이 이미지를 조건으로 삼는 컨트롤넷과 360도 전용 로라 모델을 붙여 스테이블 디퓨전을 돌리는 방식인데, 깊이 값이 0인 화소에서는 컨트롤넷의 영향을 없애 바깥 장면의 지평선이 어색해지지 않게 했다. 생성된 이미지는 네 배로 업스케일되고, 각 프로젝터가 쏠 화면은 방의 기하 모델과 프로젝터의 내부·외부 파라미터로부터 계산된다. 그 결과 벽에는 360도로 이어지는 바깥 세계가 펼쳐지고, 방 안 물체의 겉모습도 그 세계에 맞게 바뀐다.

체험은 10분짜리 튜토리얼로 시작한다. 참여자는 이 시간 동안 화면과 소리, 사물을 바꾸는 방법을 익히고 방 안의 실제 물건을 이야기 속 물건으로 바꿔 본다. 이후에는 내레이터 에이전트가 어떤 이야기를 만들고 싶은지 물으며 3막 구조를 함께 세워 나간다. 시연에서는 우주로 가고 싶다는 요청에서 출발해 화성으로 향하는 우주비행사와 승무원, 반려견이 등장하는 이야기가 만들어졌다.

각 막에는 배경 화면뿐 아니라 생성된 환경음과 등장인물의 목소리가 공간 음향 시스템을 통해 함께 얹힌다. 2막에서는 참여자의 지시에 따라 주인공이 우주선 밖으로 나가 소행성으로 향하는 갈등 장면이 만들어졌고, 3막에서는 내레이터가 세 가지 결말 선택지를 제시해 참여자가 고르는 방식으로 이야기가 마무리됐다. 막과 막 사이에는 이야기를 이어가거나 방 안 사물을 바꾸는 선택을 할 수 있다.

주요 인사이트

• 헤드셋을 쓰지 않는다는 선택이 이 연구의 핵심이다. 시야를 가리지 않으므로 참여자는 자기 방과 함께 있는 사람을 계속 인지하고, 몰입과 공간 감각을 맞바꾸지 않아도 된다.
• 생성 이미지를 그냥 벽에 띄우는 것이 아니라 깊이 정보를 조건으로 만들어 낸다는 점이 중요하다. 방의 실제 형태를 따라가는 그림이기 때문에 벽과 가구의 경계에서 화면이 어긋나 보이지 않는다.
• 깊이 값이 없는 화소에서 조건 제어를 꺼 지평선을 자연스럽게 만든 처리는 작아 보이지만, 생성 모델을 실제 공간에 붙일 때 부딪히는 문제가 어디에서 생기는지를 보여준다.
• 내레이터 에이전트가 3막 구조를 붙들어 주는 덕분에 자유로운 대화형 생성이 산만해지지 않는다. 이야기 형식이 곧 사용자 인터페이스 역할을 하는 셈이다.
• 화면과 함께 환경음과 등장인물 목소리를 생성해 공간 음향으로 배치한 점은, 몰입이 시각만으로 만들어지지 않는다는 사실을 실험으로 확인한 부분이다.

자주 묻는 질문

관련 AI 소식