로봇 학습의 미해결 과제 총정리: 일반화·촉각·강화학습·평생학습, ETH 취리히 강의 요약

핵심 메시지

• 화제가 되는 로봇 데모 상당수는 목표 플랫폼에서 직접 모은 데이터로 같은 환경에서만 작동하며, 조명·물체·카메라 시점이 조금만 바뀌어도 무너진다.
• 로봇 정책의 밑바탕을 시각언어모델로 할지, 생성형 비디오 모델로 할지, 아니면 실제 로봇 데이터만으로 처음부터 학습할지는 아직 결론이 나지 않았다.
• 손재주와 일반화는 그동안 서로 다른 조건을 요구해 왔고, 둘을 동시에 갖춘 정책을 만드는 것이 이 분야의 목표로 제시됐다.
• 모방학습은 시연 데이터가 보여준 범위에 갇히기 때문에, 실제 로봇에서 강화학습을 대규모로 돌리는 일이 지금 가장 파급력 큰 연구 주제로 꼽혔다.
• 좋은 연구는 중요한 문제와 그 문제를 공략할 계획을 동시에 갖추는 데서 출발하며, 스스로 가장 냉정한 심사위원이 되어 보는 습관이 시간을 지켜준다.

쉽게 이해하기

ETH 취리히의 로봇 학습 강좌를 맡은 오이어 메스는 마지막 강의를 소셜미디어 이야기로 열었다. 거의 매주 누군가가 로봇공학 혹은 물체 조작이 해결됐다고 선언하지만, 바로 전주에 다른 누군가가 같은 선언을 했다면 그 말을 어디까지 믿어야 하느냐고 반문한다. 실제로 실험실 밖으로 로봇을 꺼내 새 조명, 새 물체, 새 카메라 시점을 주면 성능은 빠르게 무너진다는 것이다.

그는 화제가 되는 데모를 만드는 '별로 비밀스럽지 않은 레시피'를 이렇게 요약했다. 목표 로봇에서 직접 최대한 많은 데이터를 모으고, 외삽이 보간이 될 때까지 계속 모아 행동 복제 정책을 학습시키고, 가능하면 같은 날 학습하고 같은 날 시연해 분포 변화를 아예 없애는 것이다. 반면 진짜 목표는 물체 하나·방 하나 수준이 아니라 사람처럼 세상 전체로 일반화하는 것이며, 그 지점에는 아직 도달하지 못했다고 못박았다.

미해결 과제의 첫 묶음은 백본과 데이터다. 인터넷 규모의 지식을 지닌 시각언어모델을 쓰자는 진영, 시간에 따른 변화를 더 잘 모델링하는 생성형 비디오 모델을 쓰자는 진영, 실제 로봇 데이터가 충분하면 처음부터 학습해도 된다는 진영이 각각 진지한 지지자를 두고 있다. 데이터 수집 방식도 원격조작·퍼펫티어링·장갑형 웨어러블·1인칭 영상 사이에서 수집량과 하드웨어 정합성이 정면으로 충돌한다.

두 번째 묶음은 감각과 판단이다. 강연자는 컵 손잡이의 3차원 자세를 정확히 예측하도록 훈련한 모델이 촉각과 힘 피드백이 없어 컵을 그대로 부숴버린 자신의 실험 영상을 보여주며, 지금의 로봇도 접촉 순간에는 사실상 눈을 감고 있다고 말했다. 촉각·힘 데이터는 하드웨어가 비싸고 표준화되지 않아 대규모로 존재하지 않고, 여러 감각이 동시에 짝지어진 데이터는 거의 없다. 여기서 언어를 매개로 삼아 학습한 적 없는 감각까지 연결하는 접근이 소개됐다.

세 번째 묶음은 학습 방식 자체다. 모방학습만으로는 사람이 시연하지 않은 더 나은 경로를 배울 수 없으므로 강화학습이 답이 될 수 있지만, 실제 로봇에서 이를 확장하는 데는 연산이 아니라 알고리즘 혁신이 더 필요하다고 했다. 배포된 로봇이 만든 거친 데이터와 전문가 시연 데이터를 단순히 섞으면 오히려 모델이 혼란에 빠지고, 평생학습·급속 적응·장기 기억 같은 문제가 줄줄이 따라온다. 강의는 연구를 고르고 검증하는 방법과, 로봇 셋업을 만들다 부산물로 나온 벤치마크가 가장 많이 인용된 논문이 된 개인사로 마무리됐다.

주요 인사이트

• 데모의 성공은 대개 학습 분포 안에서의 보간이며, 사람처럼 아는 것을 이어 붙여 새로운 상황을 추론하는 능력은 여전히 빠져 있다.
• 확신이 없을 때만 더 오래 생각하고 정말 모르면 사람을 부르는 적응형 추론 구조는, 모델이 자기가 모른다는 사실을 알아채는 능력을 전제로 한다. 그런데 이 자기 점검 능력은 모델이 커질수록 오히려 어려워진다.
• 전문가 시연 데이터는 매끄럽고 짧은 반면 자율 주행 중 쌓인 데이터는 길고 거칠어서, 품질과 주기가 다른 두 분포를 그냥 섞으면 모방학습은 실패한다.
• 규모가 중요한 시대에는 단순한 아이디어가 더 크게 확장되므로, 열일곱 개의 부품이 맞물려야 작동하는 아이디어라면 8할을 가져오는 단순한 버전을 먼저 찾아보라고 조언했다.
• 시뮬레이터를 다듬다가 곁가지로 만든 벤치마크가 결국 가장 많이 인용된 성과가 됐다는 일화는, 연구 인프라 자체가 기여가 될 수 있음을 보여준다.

자주 묻는 질문

관련 AI 소식