스탠퍼드 최적제어 강의 AA203 1강 정리: 개루프·폐루프 제어부터 학습 기반 제어까지

핵심 메시지

• 고전 제어는 안정성·기준 추종·외란 억제·강인성을 다루지만, 여러 방법 중 무엇이 가장 좋은지를 따지는 성능 기준과 기준 신호 자체를 만들어내는 계획, 모델을 데이터로 얻는 학습이 빠져 있다.
• 최적제어 문제는 미분방정식으로 쓴 시스템 모델, 제약 조건, 성능 지표(종단 비용과 시간에 걸친 누적 비용의 합) 세 가지 재료로 정의된다.
• 개루프 제어는 시간의 함수로 입력열을 미리 정해 눈을 감고 실행하는 방식이고, 폐루프 제어는 상태를 측정해 정책으로 대응하는 방식이다. 모델 예측 제어(MPC)는 둘을 잇는 다리로 소개된다.
• 강의 전반부는 모델을 안다고 가정하고 개루프·폐루프·MPC를 다루며, 후반부는 그 가정을 버리고 모방학습과 모델 기반·모델 프리 강화학습으로 넘어간다.
• 제어 학계와 컴퓨터과학 학계는 같은 문제를 비용 최소화(J·x·u)와 보상 최대화(R·s·a)라는 다른 표기로 부르며, 강의는 마지막 3분의 1에서 표기를 바꾼다.

쉽게 이해하기

강의를 맡은 마르코 파보네는 스탠퍼드 항공우주공학과 교수로 자율시스템 연구실을 이끌며, 엔비디아에서 자율시스템 연구를 총괄하는 이중 역할도 맡고 있다고 밝힌다. 성적은 네 차례 과제가 80%, 기말시험이 20%이고 토론 게시판 참여에 최대 5%의 보너스가 붙으며, 늦게 제출할 수 있는 여유 날짜 6일을 주되 한 과제에는 최대 이틀까지만 쓸 수 있다. 필요한 배경은 벡터 미적분과 미분방정식의 개념, 그리고 선형대수에 대한 확실한 익숙함이고 최적화·머신러닝·제어 수업 경험은 필수가 아니다. 강의자는 채점하지 않는 0번 과제를 자기 진단용으로 제공하며 챗봇으로 풀지 말라고 당부하고, 문제들이 지나치게 어렵게 느껴진다면 선수 과목을 먼저 듣고 이듬해 수강하는 편이 낫다고 말한다.

제어의 기본 구조는 시스템, 상태를 측정하는 센서, 목표를 알려 주는 기준 신호, 그리고 이 둘을 받아 제어 입력을 만드는 제어기의 되풀이되는 고리다. 실내 온도 제어에서 집이 시스템, 온도계가 센서, 온도조절기 설정이 기준 신호이고, 샤워기 손잡이를 오른쪽으로 돌리면 뜨거워진다는 규칙 자체가 하나의 모델이 된다. 강의자는 제어의 미덕이 모델을 얼마나 실용적으로 단순화할지 판단하는 데 있고, 그 모델을 데이터로 학습할 수도 있다는 점을 강조한다.

고전 제어 수업은 안정성, 기준 추종, 외란 억제, 모델이 부정확해도 잘 작동하는 강인성이라는 요구를 이미 다룬다. 여기서 빠진 것이 세 가지다. 목표를 이루는 여러 방법 중 무엇이 가장 경제적인지 따지는 성능 기준, 기준 신호가 애초에 어디에서 오는지에 해당하는 계획, 그리고 모델을 모르거나 운전 중에 변할 때 데이터로 적응하는 학습이다. 이 세 빈칸을 채우는 일이 최적·학습 기반 제어의 목표다.

이 분야의 뿌리는 냉전기 탄도미사일 궤적 최적화로, 미국의 벨만과 소련의 폰트랴긴이 거의 독립적으로 이론을 세웠지만 공통점이 많다고 소개된다. 학기 지도는 개루프(간접·직접 방법) 두세 주, 동적 프로그래밍과 그 연속시간 형태인 해밀턴-야코비-벨만 방정식, 안전 가드레일을 세우는 도달성 관점, 그리고 둘의 절충인 MPC로 이어진다. 후반부에서는 모방학습으로 좋은 정책을 만들고 강화학습으로 개선하는 자율주행처럼 기법을 섞어 쓰는 실제 사례가 강조된다.

문제 정식화에서 시스템 모델은 1차 미분방정식의 모음이다. 강의자는 미분의 정의를 차분으로 바꿔 쓰면 현재 상태와 입력을 알 때 Δt 뒤의 상태를 알 수 있다는 점을 보이며, 수학자가 미분방정식에서 아름다운 대상을 본다면 자신은 미래를 예측하는 장치를 본다고 말한다. 가속도만 제어하는 대차 예시로 2차 방정식에 속도를 상태로 추가해 1차 방정식 두 개로 바꾸는 요령도 보여 준다. 제어 입력이 시간의 함수라서 결정 변수가 무한히 많은 무한차원 최적화라는 점, 성능 지표를 합의 형태로 유지해야 최적성 원리를 쓸 수 있다는 점을 짚고, 다음 강의의 무제약 비선형계획과 기울기가 0이 되는 필요조건으로 넘어간다.

주요 인사이트

• 미분방정식을 현재 상태와 입력을 알면 잠시 뒤 상태를 알려 주는 장치로 읽으면, 기호로만 보였던 모델이 미래를 예측하는 도구로 바뀐다. 강의자는 이 관점 전환만으로 수식의 위압감이 크게 줄어든다고 설명한다.
• 성능 지표를 시간에 대한 적분(또는 합)으로 유지하는 이유는 문제를 잘게 쪼개 최적성 원리를 적용할 수 있기 때문이다. 이 덧셈 구조를 깨면 탐색해야 할 해의 수가 폭발해 계산이 사실상 불가능해진다.
• 개루프와 폐루프의 차이는 학술적 뉘앙스가 아니라 결과를 가른다. 계획대로만 걷는 개루프는 계산이 매우 싸지만 옆 사람이 일어서면 부딪히고, 폐루프는 모든 상황에 대응하는 대신 계산이 비싸다. 강의자는 선임 연구자도 이 차이를 자주 혼동한다고 말한다.
• 특정 기법에 애착을 갖지 말라는 조언이 강의 목표에 직접 연결된다. 현대 로봇 시스템은 한 가지 방법이 아니라 모방학습으로 정책을 초기화하고 강화학습으로 다듬는 식의 혼합으로 작동한다.
• 외란은 확률 모델로 다룰 수도 있고, 자연이 최대한 방해한다고 가정하는 최악의 경우 관점으로도 다룰 수 있다. 후자는 미분 게임으로 이어져 추격자와 회피자가 등장하는 고전 문제들로 연결된다.

자주 묻는 질문

관련 AI 소식