뉴럴 컴퓨터(Neural Computer) 정리: AI가 운영체제를 통째로 생성한다는 발상과 지금의 한계

핵심 메시지

• AI가 게임 화면을 통째로 생성하던 흐름이 이제 운영체제로 옮겨붙었다. '뉴럴 컴퓨터'는 연산·메모리·입출력을 학습된 런타임 상태 하나로 통합하려는 시도다.
• 구조는 AI 영상 생성에 쓰이는 디퓨전 트랜스포머다. 다만 만들어내는 영상이 결과물이 아니라 화면 그 자체이며, 운영체제 조작 녹화 영상만으로 학습됐다.
• 커서를 눈에 보이는 객체로 명시하고 픽셀 단위로 학습시키자 정확도가 8.7%에서 약 98.7%로 뛰었다. 행동 신호를 별도 채널로 두는 크로스 어텐션이 핵심이었다.
• 데모는 5초 남짓이고, 위키백과에서 링크를 눌러도 엉뚱한 글자가 나오는 수준이다. 상태를 오래 유지하지 못하는 문제가 가장 큰 벽이다.
• 이 방향이 끝까지 간다면 프로그램 설치는 바이너리를 내려받는 일이 아니라 모델에 행동을 가르치는 일이 된다.

쉽게 이해하기

AI로 만든 둠(Doom)이나 마인크래프트 영상은 한때 신기한 실험처럼 소비됐다. 구글이 공개한 Genie 3에 이르러 생성 품질이 크게 올라가고 특정 게임 영역 밖까지 다룰 수 있게 되면서, 시뮬레이션 대상이 게임을 넘어설 수 있다는 생각이 자연스럽게 따라왔다. 이 영상은 그 연장선에서 나온 '뉴럴 컴퓨터(Neural Computer)' 논문을 다룬다.

논문이 말하는 뉴럴 컴퓨터의 정의는 의외로 단순하다. 연산과 메모리, 입출력을 하나의 학습된 런타임 상태로 통합한 시스템이다. 구조적으로는 AI 영상 생성에 널리 쓰이는 디퓨전 트랜스포머를 쓰지만, 학습 데이터가 운영체제 조작 녹화 영상뿐이라는 점이 다르다. 모델은 화면을 한 프레임씩 만들어내며 매 단계마다 현재 화면과 타이핑·마우스 이동·클릭 같은 입력을 함께 받아 내부 상태를 갱신하는데, 그래서 이 프레임들을 논문은 '잠재 런타임 상태'라고 부른다.

연구진은 명령줄(CLI)만 흉내 내는 모델과 운영체제 전체를 흉내 내는 모델을 따로 학습시켰다. CLI 쪽은 SQL 명령을 꽤 그럴듯하게 써 내려가지만, 자세히 보면 숫자나 글자가 틀리고 진행 표시줄과 퍼센트 수치가 서로 맞지 않는다. GUI 전체는 커서 이동, 버튼 클릭, 메뉴 열기, 창 끌기까지 모든 시각적 반응을 픽셀 수준에서 만들어내야 해 훨씬 어렵다.

여기서 흥미로운 실험 결과가 하나 나온다. 커서를 그냥 화면의 일부로 관찰하게 두면 정확도가 8.7%에 그쳤는데, 커서를 명시적인 시각 객체로 렌더링하고 픽셀 단위로 지도했더니 약 98.7%까지 올랐다. 방법은 크로스 어텐션으로, 행동 신호를 픽셀과 같은 흐름에 섞지 않고 별도의 행동 토큰 채널로 두면 화면의 각 영역이 필요할 때 그 채널을 직접 참조할 수 있다. 커서가 오른쪽 위로 갔다면 그 근처 영역만 신경 쓰면 된다는 식이다.

그럼에도 결과물은 아직 조악하다. 위키백과에서 'English'를 눌러도 영어가 아닌 글자가 뜨고, 색상 슬라이더는 제멋대로 움직이며, 데모 길이도 5초 남짓이다. 영상이 그리는 먼 그림은 프로그램 설치가 바이너리를 내려받는 일이 아니라 모델에 행동을 가르치는 일이 되고, 포토샵을 쓰고 싶으면 스크린샷 하나로 그 장면을 불러오는 세계다. 다만 이 모든 건 시스템이 상태를 안정적으로 붙들 수 있을 때의 이야기이고, 그렇지 못하면 결국 환각에 지나지 않는다.

주요 인사이트

• AI 영상 생성 모델이 사실상 물리와 환경을 시뮬레이션한다는 관찰이 로보틱스나 자율주행 학습으로 이어졌듯, 컴퓨터 시스템 자체를 시뮬레이션 대상으로 삼는 시도가 나왔다는 점이 이 연구의 위치를 말해준다.
• 행동 정보를 입력에 단순히 이어 붙이는 대신 별도 채널로 두고 모든 층에서 직접 참조하게 만든 설계가 성능을 열 배 이상 갈랐다. 조건 신호를 어디에 어떻게 주입하느냐가 구조 설계의 실질적 승부처라는 사례다.
• 지금 만들 수 있는 건 아주 좋은 단기 시뮬레이터일 뿐이고, 진짜 과제는 상태를 저장하고 재사용하며 동작을 보장하는 쪽에 있다. 이는 트랜스포머 계열 전반의 한계와 맞닿아 있어 이 연구만의 문제가 아니다.
• 결정론적으로 동작해야 하는 시스템을 비결정론적 모델 위에 올린다는 발상 자체가 모순을 품고 있다. 영상도 인터넷 접속을 어떻게 처리할지, 결국 모델을 돌릴 컴퓨터는 여전히 필요하지 않은지 같은 질문을 그대로 남겨둔다.
• 연구의 실질적 가치는 당장의 성능보다 정의에 있다. 무엇을 '완전한 뉴럴 컴퓨터'라 부를지 규정해두지 않으면 도달 여부를 따질 기준조차 생기지 않는다.

자주 묻는 질문

관련 AI 소식