로봇 학습 생성모델 정리: VAE·확산모델·플로 매칭까지, ETH 취리히 강의 6강 해설

핵심 메시지

• 관측에서 행동으로 가는 대응은 함수가 아니라 분포다. 같은 목표에 도달하는 팔 동작이 무수히 많고, 시연을 모으는 사람마다 방식이 달라지기 때문이다.
• 평균제곱오차로 결정론적 정책을 학습시키면 수식이 시연들의 평균을 찾도록 강제해, 왼쪽이나 오른쪽으로 피해야 할 장애물 한가운데로 돌진하는 정책이 나온다.
• VAE는 잠재변수를 하나의 점이 아니라 분포로 인코딩하고 재매개변수화로 기울기를 흘려보내지만, 사후분포 붕괴와 사전분포 불일치라는 실패 모드를 안고 있다.
• 확산모델은 원본을 한 번에 맞히는 대신 매 단계 더해진 잡음을 예측하게 만들어 학습을 훨씬 쉬운 문제로 바꾸고, DDIM으로 추론 단계를 크게 줄여 실시간 제어에 다가섰다.
• 플로 매칭은 잡음에서 데이터로 직선 경로를 그어 속도장을 학습하며, 복잡한 잡음 스케줄 없이 적은 적분 단계로 끝나 최근 로봇 정책의 기본 틀로 자리 잡았다.

쉽게 이해하기

ETH 취리히의 '로봇 학습: 기초에서 파운데이션 모델까지' 강의 6강에서 오이어 메스는 생성모델을 로봇 학습의 관점에서 다시 읽었다. 출발점은 3강에서 다룬 문제의식이다. 7자유도 팔이 같은 목표 자세에 도달하는 경로는 무한히 많고, 시연을 수집하는 전문가도 어떤 날은 위에서 잡고 어떤 날은 옆에서 잡는다. 그래서 정책이 배워야 할 것은 행동 하나가 아니라 행동의 분포다.

생성모델이란 결국 표준 가우시안 같은 다루기 쉬운 분포에서 우리가 원하는 복잡한 데이터 분포로 가는 학습된 변환이라는 정의가 강의 전체를 관통한다. 이미지 생성에서는 그 도착점이 고양이 사진이고, 로봇에서는 행동 궤적이다. 강의는 이 정의 위에 오토인코더 계열, 확산모델, 플로 모델이라는 세 계보를 차례로 얹었다.

첫 계보는 오토인코더다. 병목이 데이터의 압축 표현을 강제하지만 잠재공간에 구조가 없고 결정론적이라 새 표본을 뽑을 수 없다. VAE는 잠재변수를 가우시안 분포로 인코딩하고 KL 항으로 사전분포에 붙잡아 두어 이 문제를 풀지만, 표본 추출 단계가 미분되지 않는다는 벽에 부딪힌다. 강의는 이를 재매개변수화로 넘는 과정을, 분산이 큰 점수함수 추정기와 나란히 놓고 비교했다.

VAE의 두 실패 모드도 짚였다. 디코더가 충분히 강력하면 잠재변수를 아예 무시해 버리고, 훈련 때 본 적 없는 잠재 영역에서 표본을 뽑으면 디코더가 엉뚱한 출력을 만든다. 왼쪽과 오른쪽 시연만 배운 모델이 그 중간 잠재값을 받으면 로봇 입장에서는 위험한 행동을 지어낼 수 있다는 것이다. VQ-VAE는 연속 잠재값을 학습된 코드북의 이산 코드로 바꿔 이 문제를 완화하고, 미분 불가능한 최근접 탐색은 스트레이트 스루 추정기로 우회한다.

두 번째 계보인 확산모델은 병목 없이 연속 분포 전체를 직접 모델링한다. 순방향에서 가우시안 잡음을 반복해 더하고, 역방향에서는 이전 이미지를 맞히는 대신 그 단계에서 더해진 잡음을 예측하도록 학습한다. 잡음은 표준 가우시안에서 온 깨끗한 회귀 목표라 학습이 쉽고, 알파 곱을 이용하면 중간 단계를 모두 거치지 않고 임의의 잡음 상태로 한 번에 건너뛸 수 있어 훈련도 빨라진다.

로봇에 이 틀을 그대로 옮긴 것이 확산 정책이다. 픽셀 자리에 로봇 행동을 넣어 행동 시퀀스를 잡음 제거하고, 현재 카메라 이미지와 로봇 상태를 조건으로 잡음 예측망에 주입한다. 관측 인코딩을 K번의 잡음 제거 단계 앞에서 한 번만 계산하는 설계가 효율의 핵심이고, 미래 상태를 따로 예측할 필요가 없다는 점도 이점으로 꼽혔다. 다만 단일 과제에는 강하지만 범용 다중 과제 정책으로 키우기는 까다로웠다.

세 번째 계보인 플로 매칭은 질문을 바꾼다. 복잡한 잡음 스케줄로 데이터를 망가뜨리는 대신, 잡음과 데이터를 직선으로 잇고 그 위를 따라가는 속도장을 배우자는 것이다. 추론은 잡음 제거가 아니라 오일러 같은 상미분방정식 풀이로 이뤄지고, 선형 스케줄에서는 확산과 사실상 동등하다. 직선 경로가 서로 교차해 속도장이 휘는 문제는 정류 플로가 표본 쌍을 다시 짝지어 해결한다.

주요 인사이트

• 로봇 학습에서 다중 모드는 이론적 장식이 아니라 안전 문제다. 평균을 향하는 정책은 좌우 어느 쪽으로도 피하지 않고 장애물 한가운데를 향하고, 사전분포 불일치는 시연에 없던 위험한 동작을 만들어 낼 수 있다.
• 미분 불가능한 연산을 우회하는 기술이 계보 전체에 반복된다. VAE의 재매개변수화, VQ-VAE의 스트레이트 스루 추정기, 확산의 잡음 예측 목표가 모두 같은 문제의 다른 해법이다.
• DDPM이 1,000단계 안팎을 요구해 실시간 제어에 쓰기 어렵다는 점이 로봇 분야에서 DDIM 같은 가속 기법을 필수로 만들었다. 훈련과 추론의 단계 수를 분리한 것이 결정적이었다.
• 조건을 그냥 입력으로 넣으면 모델이 무시해 버리기 쉽다는 문제는 VAE와 확산 양쪽에서 똑같이 나타난다. 분류기 없는 안내는 학습 중 조건을 확률적으로 지워 조건부와 무조건부를 함께 배우게 하고, 추론에서 두 예측의 차이를 증폭한다.
• VQ-VAE가 만들어 낸 이산 토큰은 트랜스포머가 관측과 행동을 한 토큰 공간에서 다루게 해 준다. 영상 토큰화, 프레임 사이 움직임을 코드로 바꾸는 잠재 행동 학습, 연속 행동의 이산화가 모두 같은 도구에서 갈라져 나왔다.

자주 묻는 질문

관련 AI 소식