로봇 제어와 마르코프 결정 과정 입문: ETH 취리히 로봇 학습 강의 2강 핵심 정리

핵심 메시지

• 4족 보행 로봇, 손재주 로봇, 드론은 겉보기에 전혀 다른 문제 같지만, 고수준 목표를 각자의 형태에 맞는 모터 토크로 옮긴다는 같은 제약을 공유한다.
• 거의 모든 로봇은 공간을 움직이는 강체의 집합으로 기술할 수 있고, 평면 운동은 SE(2), 3차원 운동은 SE(3)로 표현하며 동차 변환 행렬을 이어 붙여 좌표계를 옮긴다.
• 관절값에서 말단부 위치를 구하는 순기구학은 답이 하나지만, 목표 자세에서 관절각을 되찾는 역기구학은 해가 여럿이거나 해석해가 아예 없어 최적화로 푼다.
• 선형 보간은 구현이 쉽지만 가속도가 순간적으로 튀어 하드웨어에 무리를 준다. 그래서 5차 다항식 스플라인으로 시작과 끝의 속도·가속도를 0으로 맞춘다.
• 마르코프 결정 과정은 상태·행동·전이확률·보상으로 이뤄진 틀로, 27자유도 휴머노이드와 체스를 같은 학습 알고리즘으로 다룰 수 있게 해준다.

쉽게 이해하기

오이어 메스가 진행하는 ETH 취리히 '로봇 학습: 기초에서 파운데이션 모델까지' 2강은 로봇 제어와 마르코프 결정 과정을 다룬다. 강의는 지금 로봇 학습이 흥미로운 이유로 하드웨어의 다양성을 든다. 험지를 걷는 4족 보행 로봇, 루빅스 큐브를 푸는 손, 비행하는 드론은 관절도 액추에이터도 물리도 다르지만, 하나의 로봇만 풀어서는 범용 로봇 파운데이션 모델을 만들 수 없다는 것이다.

공통 언어는 강체다. 로봇 위 두 점 사이 거리가 변하지 않는다고 가정하면 모든 점 대신 한 점만 추적하면 된다. 지상 주행은 x·y와 방향으로 이뤄진 SE(2)로, 드론처럼 완전한 3차원 운동은 고도와 롤·피치·요가 더해진 SE(3)로 기술한다. 코드에서는 회전 행렬과 평행이동 벡터로 이뤄진 동차 변환 행렬을 쓰며, 회전 행렬은 전치가 역행렬과 같아야 하고 행렬식이 1이어야 한다는 두 조건을 만족해야 회전 중에 로봇이 늘어나지 않는다.

실제 로봇에는 좌표계가 하나가 아니라 위계로 존재한다. 자율주행차라면 무게중심에 제어용 기준 좌표계가 있고 지붕에는 라이다나 카메라가 따로 있다. 센서가 보행자를 감지하면 그 위치는 센서 좌표계의 값이므로, 제어가 이뤄지는 기준 좌표계로 변환해야 한다. 동차 변환 행렬을 이어 붙이면 이 변환이 곱셈으로 해결되고, 센서와 기준 좌표계 사이의 관계 자체는 캘리브레이션으로 구한다.

휴머노이드처럼 복잡한 로봇은 링크와 관절, 말단장치로 이뤄진 관절형 강체로 본다. 결국 관절 로봇은 좌표계의 사슬이며, 손이 몸통 기준으로 어디에 있는지는 행렬을 이어 곱해 계산한다. 말단장치는 학습 관점에서 행동 공간을 좌우한다. 흡착식은 켜고 끄는 이진 행동이라 가장 깔끔하고, 산업용에서 흔한 평행 그리퍼는 1자유도지만 물체 폭과 정밀도를 신경 써야 하며, 손 형태의 말단장치는 20자유도가 넘기도 한다.

자유도를 세고 나면 그 값들이 사는 공간, 즉 구성 공간이 정의된다. 관절 종류에 따라 공간의 위상이 달라지는데, 회전 관절 두 개짜리 팔의 구성 공간은 평평하지 않고 원환면이다. 정책 신경망은 이 위상을 존중해야 한다. 356도에서 1도로 가는 최단 경로는 350도를 되돌아가는 것이 아니라 2도만 움직이는 것이기 때문이다. 반면 작업 공간은 로봇이 실제로 닿을 수 있는 물리적 점들의 집합이고, 과제 공간은 목표가 자연스럽게 정의되는 면이다. 칠판을 닦는 과제라면 그 표면이 과제 공간이며 휴머노이드든 드론이든 상관이 없다.

1990년대 모션 플래닝은 장애물을 구성 공간으로 옮겨 금지 영역을 명시적으로 만들고 자유 공간에서 경로를 찾는 방식이었다. 이 계산은 차원이 커질수록 사실상 불가능해진다. 현대 로봇 학습은 그 대신 어떤 행동이 나쁜 결과로 이어지는지 정책이 암묵적으로 감지하도록 학습시킨다. 강의는 이 지점을 하드코딩된 기하에서 학습된 표현으로 넘어가는 근본적인 차이로 짚는다.

후반부는 이 모든 것을 학습 문제로 바꾼다. 정책은 관측을 행동으로 옮기는 조건부 확률 분포이지만, 분류와 결정적으로 다른 점이 있다. 고양이를 개로 잘못 분류해도 고양이는 그대로지만, 로봇이 잘못된 행동을 고르면 세계의 상태가 바뀌어 다음 관측 자체가 달라진다. 여기서 상태와 관측을 구분하는 것이 중요하다. 눈보라 치는 밤이든 맑은 낮이든 자동차의 실제 위치와 속도라는 상태는 같고, 달라지는 것은 카메라가 주는 부분적인 관측이다.

마르코프 성질은 상태가 이미 필요한 정보를 모두 담고 있으므로 과거를 더 알아도 다음 상태 예측에 도움이 되지 않는다는 뜻이다. 여기에 상태 공간·행동 공간·전이확률·보상 함수를 묶으면 마르코프 결정 과정이 된다. 로봇의 상태와 행동은 대개 연속이라 모든 상태의 값을 표로 만들 수 없고 함수 근사기와 신경망이 필요하다. 보상은 성공 시에만 주는 희소 보상과 말단부와 목표 사이 거리 같은 조밀한 보상으로 나뉘는데, 강의자는 자신의 박사 과정 실험에서 희소 보상은 실패한 반면 조밀한 보상은 물건을 집어 옮기는 데 성공했다고 소개했다.

주요 인사이트

• 구성 공간의 위상이 원환면이라는 사실은 추상적인 이야기가 아니다. 정책이 각도 차이를 유클리드 거리처럼 다루면 2도면 될 움직임을 350도 되돌리는 경로로 학습할 수 있다.
• 과제 공간이 구성 공간보다 작기 때문에 여유 자유도와 널 스페이스 운동이 생긴다. 컵을 든 손 위치를 고정한 채 팔꿈치만 움직여 장애물을 피할 수 있는 이유다.
• 선형 보간이 나쁜 이유는 궤적이 부정확해서가 아니라 첫 시점에 최대 속도로 튀고 마지막에 급정거해 하드웨어에 무리한 가속도 스파이크를 남기기 때문이다.
• 정책이 예측한 궤적을 실제로 따라가게 만드는 것은 여전히 PID 같은 저수준 제어기다. 마찰·중력·공기저항 때문에 명령대로 움직이지 않기 때문이다.
• MDP의 진짜 가치는 수식이 아니라 통일성에 있다. 물리적 기계를 다른 계산 문제와 똑같이 취급할 수 있게 해주기 때문에 체스에 쓰던 알고리즘을 휴머노이드에 적용할 수 있다.

자주 묻는 질문

관련 AI 소식