자가 진화형 피지컬 AI 연구 계획: 시뮬레이션과 현실을 오가는 순환 학습과 4D 시공간 일관성

핵심 메시지

• 피지컬 AI는 컴퓨터와 웹 안에서만 돌던 인공지능이 로봇과 제조 현장 같은 실제 환경으로 나가는 흐름을 가리키며, 이 센터는 그중에서도 로보틱스에 초점을 맞춘다.
• 현실 학습의 걸림돌은 세 가지다. 넘어지고 부딪히는 엣지 케이스를 모으는 비용, 새 환경에서 일반화가 안 되는 문제, 시뮬레이션에서 배운 것을 현실에 옮길 때 생기는 격차다.
• 해법으로 제시한 것은 닫힌 순환 구조다. AI가 학습 시나리오를 스스로 설계해 필요한 데이터 환경을 만들고, 추론 중에 나온 데이터까지 학습에 되먹이며, 가상 세계 자체도 현실을 반영해 계속 갱신한다.
• 연구는 인지 AI와 추론 AI로 나뉜다. 인지 쪽은 스스로 갱신되는 월드 모델과 4D 시공간 일관성, 촉각·청각까지 다루는 멀티모달 정렬을, 추론 쪽은 행동의 결과를 예측하는 인과 정보와 실시간 자기 점검을 다룬다.
• 사람을 때리거나 환경을 부수지 않도록 사람이 직접 피드백을 주며 행동을 교정하는 소셜 얼라인먼트도 연구 항목에 들어 있다.

쉽게 이해하기

발표자는 서울대 전기정보공학부 최종현 교수로, 자가 진화형 피지컬 AI를 주제로 컴퓨터비전 센터를 시작하게 됐다고 소개한다. 피지컬 AI는 컴퓨터나 웹 환경 안에서만 작동하던 인공지능이 현실 세계로 나가는 것을 말한다. 로봇이 가장 알기 쉬운 예이고 제조업 현장도 포함되지만, 이 센터는 범위를 로보틱스 쪽으로 좁혀 컴퓨터비전 시스템과 로봇 AI를 함께 학습시키는 프레임워크를 연구한다.

지금 피지컬 AI 모델을 학습시킬 때 부딪히는 어려움은 크게 세 가지로 정리된다. 첫째, 모델을 현실에서 돌리면 넘어지거나 부딪히는 실패가 잦은데 이런 엣지 케이스를 모으는 비용이 크고 다양하게 모으기도 어렵다. 둘째, 그렇게 배운 모델을 다른 환경에 놓으면 일반화가 잘 되지 않는다. 셋째, 시뮬레이션에서 학습한 것을 현실에 적용할 때 또 다른 문제가 생긴다.

제안하는 방향은 닫힌 순환 구조의 지능이다. AI가 먼저 학습 시나리오를 설계하고 필요한 데이터 환경을 능동적으로 만들어낸다. 생성한 데이터의 품질이 완벽하지 않을 수 있지만 아예 없는 것보다는 낫다는 판단이다. 여기에 학습과 추론을 나눠 생각하던 관행을 깨고, 추론 과정에서 나오는 데이터까지 학습에 끌어와 계속 자기 진단을 하게 만든다. 가상 세계도 고정해두지 않고 현실을 반영해 함께 갱신한다.

인지 AI 쪽 과제는 세 갈래다. 물리 법칙을 지키는 시뮬레이션 모델이 점진적으로 개선되는 형태의 월드 모델, 그리고 4D 시공간 일관성이다. 발표자는 컴퓨터비전이 3D 데이터를 아직 정확히 다루지 못하고 시간 정보 처리도 난제로 남아 있다고 짚으며, 두 어려움이 겹치는 지점이 바로 4D라고 설명한다. 여기에 시각뿐 아니라 촉각, 청각, 언어까지 함께 처리하는 멀티모달 정렬 알고리즘이 더해진다.

추론 AI 쪽의 문제의식은 인과 정보의 부재다. 지금 모델들은 자기가 취한 행동이 어떤 결과를 낳을지에 대한 정보를 거의 활용하지 않아, 행동과 결과 사이의 피드백 루프가 사실상 없다. 이를 메우기 위해 추론을 루프 안에 계속 넣어 지금 내놓는 행동이 제대로 가고 있는지 실시간으로 점검하고 스스로 교정하게 만든다. 여기에 사람이 개입해 해서는 안 될 행동을 알려주는 소셜 얼라인먼트로 안전성을 확보한다.

주요 인사이트

• 시뮬레이션에서 배워 현실에 적용하는 단방향 흐름 대신, 현실의 피드백을 다시 시뮬레이션에 반영해 가상 세계까지 갱신하는 순환 구조를 목표로 삼았다.
• 생성 데이터의 품질이 떨어질 수 있다는 점을 인정하면서도, 아무것도 안 하는 것보다는 낫다는 실용적 판단으로 능동적 데이터 생성을 선택한 점이 눈에 띈다.
• 발표자는 머신러닝 분야가 같은 것을 계속 다른 이름으로 부른다며 VLA 모델이나 RFM, 대형 비전 모델이 사실상 같은 백본을 가리킨다고 짚는다.
• 센터는 컴퓨터비전을 연구하는 교수 일곱 명으로 꾸려졌고, 다리형과 바퀴형 휴머노이드 중 바퀴형으로 먼저 모델을 실증할 계획이다.
• 기대 효과로는 스마트 팩토리 같은 산업 적용과 고위험 재난 대응이 꼽혔고, 이 닫힌 순환 검증 방식을 과학 연구용 AI에도 옮겨볼 수 있다는 구상까지 나왔다.

자주 묻는 질문

관련 AI 소식