Orca 논문 정리: 다음 상태 예측으로 언어·이미지·로봇 행동을 하나로 묶은 세계 모델

핵심 메시지

• Orca는 다음 단어, 다음 장면, 다음 동작을 따로 예측하던 세 갈래를 세상의 다음 상태를 예측한다는 하나의 목표로 묶었다.
• 라벨 없이 영상을 보며 익히는 무의식적 학습과, 문장으로 인과를 배우는 의식적 학습을 함께 쓴다.
• 사전학습이 끝나면 핵심 인코더를 완전히 얼리고 얇은 어댑터만 학습시켰다. 점수를 끌어올리려는 것이 아니라 잠재 공간 자체의 품질을 검증하기 위한 설계다.
• 언어 이해 51.8점, 이미지 예측 59.8점, 로봇 행동 종합 32.4점으로 세 영역 모두에서 각 분야 전문 모델을 앞섰다.
• 로봇 행동 데이터로 사전학습한 적이 없는데도 로봇 팔을 움직였고, 논문은 이를 창발적 능력이라고 부른다.

쉽게 이해하기

언어 모델은 다음 단어를, 영상 생성 모델은 다음 장면을, 로봇 제어 모델은 다음 동작을 예측한다. 세 모델은 보통 다른 팀이 다른 데이터로 따로 만든다. 베이징 AI 아카데미가 연구진 57명과 함께 공개한 논문 '오르카: 세상은 당신의 마음속에 있다'는 이 셋이 사실 '세상이 어떻게 변하는가'라는 하나의 질문 아니냐고 묻는다. 그래서 나온 답이 다음 상태 예측이다.

여기서 상태란 어떤 순간의 세상이 어떤 모습인지 담은 스냅샷을 뜻한다. 컵이 테이블 위에 있는지, 문이 열려 있는지, 사람이 어디에 서 있는지 같은 정보 전체가 하나의 상태다. Orca는 지금 상태를 보고 다음 순간의 상태가 어떻게 바뀔지, 거꾸로 이전 상태는 어땠을지도 예측한다. 이런 상태들을 압축한 하나의 내부 표현을 월드 잠재 공간이라 부르고, 그 요약본 하나를 말로도 그림으로도 로봇 동작으로도 풀어낼 수 있게 만든 것이 이 모델의 골격이다.

학습 방식은 두 가지로 나뉜다. 무의식적 학습은 라벨이나 설명 없이 영상을 보기만 하면서 배우는 방식으로, 바람이 불면 잎이 떨어지고 공을 놓으면 바닥에 떨어진다는 직관적 물리를 영상 자체를 정답지 삼아 익힌다. 의식적 학습은 '아이스크림은 열을 받으면 녹는다' 같은 문장과 함께 원인과 결과가 뚜렷한 사건 단위의 변화를 배우는 방식이다. 구조는 인코더와 디코더로 나뉘는데, 사전학습이 끝나면 핵심 두뇌인 인코더는 완전히 얼려 버리고 언어·이미지·행동으로 풀어내는 얇은 어댑터만 따로 학습시킨다. 최고 점수를 뽑기 위해서가 아니라 잠재 공간이 좋아지면 무엇을 하든 좋아진다는 가설을 깨끗하게 검증하기 위해서다.

검증은 언어, 이미지, 실제 로봇 행동 세 가지 시험으로 이뤄졌고 어느 시험에도 맞춤 훈련을 따로 하지 않았다. 영상을 보고 질문에 답하는 언어 이해 시험에서 평균 51.8점으로 1위였는데, 비슷한 크기의 경쟁 모델은 46.7점, 훨씬 큰 80억 파라미터 모델도 30.4점에 그쳤다. 지시를 주고 그 행동 이후 장면을 그리게 한 이미지 예측 시험에서는 59.8점으로 경쟁 모델 플럭스의 56.1점을 앞섰다. 이 시험을 위해 연구진은 그림이 얼마나 예쁜지가 아니라 결과가 물리 법칙을 따르는지를 재는 잣대를 직접 만들었고, 채점에는 서로 다른 회사가 만든 모델 네 개를 심사위원으로 세워 편향이 쏠리지 않게 했다.

가장 어려운 시험은 실제 로봇이었다. 양팔 로봇으로 그릇 쌓기, 티슈 뽑기, 도장 찍기, 설탕 뜨기 등 다섯 과제를 시켰는데, 도장 찍기는 훈련 때 쓰던 도장이 아니라 전혀 다른 어린이용 도장으로 바꾸고 훈련에서 본 적 없는 방과 조명에서 수행하게 했다. 종합 점수는 Orca가 32.4점으로 1위, 로봇 전문 모델 π0.5가 29.4점으로 뒤따랐다. 논문이 밝힌 한계도 분명하다. 시각과 언어만 배웠고 소리나 촉각은 없으며, 시각 부분도 기존 모델을 빌려 얼려 쓴 것이라 완전히 독립적으로 세상을 이해했다고 보기는 어렵다. 다루는 변화도 몇 분 단위의 짧은 시간대에 한정된다.

주요 인사이트

• 세 시험 어디에도 맞춤 훈련을 하지 않았다는 점이 이 논문의 핵심 주장이다. 순수하게 사전학습만으로 낸 성적이어야 잠재 공간 자체가 좋아졌다는 가설이 검증되기 때문이다.
• 낯선 환경에서 경쟁 모델 두 개의 성공률이 정확히 0%였을 때 Orca만 성공했다. 숟가락을 잡으려다 실패한 상황에서 경쟁 모델이 헛손질을 반복한 반면 Orca는 실패를 인식하고 다시 시도했고, 회복률로 따지면 100 대 53.7이었다.
• 학습 목표를 하나씩 빼보는 실험에서 셋 중 하나만 쓰면 평균 29점대에 그쳤지만 셋을 모두 합치자 종합 48점까지 올라갔다. 어느 하나가 아니라 균형이 성능의 핵심이었다는 뜻이다.
• 성능이 정체 구간 없이 계속 우상향했다는 점도 강조된다. 확보한 영상 12만 5천 시간과 이벤트 주석 1억 6천만 건 가운데 이번 논문은 10분의 1만 썼다고 밝혔다. 모델 크기도 8억과 40억 파라미터로 요즘 대형 모델과 비교하면 작은 편이다.
• 연구진이 그리는 다음 단계는 소리와 촉각을 같은 표현 안으로 통합하고, 빌려온 인코더 없이 처음부터 배우는 모델을 만들고, 이 상태 전이 틀을 로보틱스를 넘어 양자역학·우주론·생명과학 같은 과학 영역까지 넓히는 것이다.

자주 묻는 질문

관련 AI 소식