적응 제어 입문: 스탠퍼드 AA203 강의로 보는 시스템 식별과 MRAC 안정성 분석

핵심 메시지

• 강의 전반부의 최적 제어는 모두 동역학을 안다는 전제 위에 있었고, 13강부터는 그 전제를 내려놓는다.
• 불확실성에 대응하는 길은 피드백으로 버티기, 최악을 가정하는 강건 제어, 데이터로 배우기의 세 갈래다.
• 학습은 경험의 양에 따라 0 에피소드(시스템 식별), 1 에피소드(온라인 적응 제어), 다중 에피소드(강화학습)로 나뉜다.
• 최소자승 추정량은 최적선형불편추정량이지만, 모델이 정확하다고 제어가 좋아지는 것은 아니다.
• 적응 제어는 비용 최소화가 아니라 시스템·제어기·적응 기구가 결합된 계의 안정성을 증명하는 방식으로 전개된다.

쉽게 이해하기

AA203은 12주차까지 최적 제어를 다뤘다. 개루프 방식인 직접·간접법은 빠르고 안정적이지만 주어진 초기 조건에만 유효하고, 동적계획법과 해밀턴-야코비-벨만 계열은 상태를 제어로 사상하는 정책을 주는 대신 계산 비용이 크다. 지난주 다룬 모델 예측 제어(MPC)는 개루프 문제를 반복해서 풀어 폐루프의 성능을 노리는 절충이다. 이 모든 방법의 바닥에는 우리가 동역학을 이미 알고 있다는 가정이 깔려 있었고, 13강은 바로 그 가정을 푸는 자리다.

불확실성을 다루는 길은 크게 셋으로 정리된다. 첫째, 불확실성의 영향이 작다면 굳이 정교할 필요 없이 피드백 제어만으로 충분할 수 있다. 모델링하지 않은 약한 바람 속을 나는 드론이 그런 경우다. 둘째, 최악의 외란을 상정하는 강건 제어다. 강의에서 예로 든 추격 문제처럼 미니맥스 형태로 적대적 분포를 상정하면 안전하지만 지나치게 방어적인 거동이 나올 수 있다. 셋째가 이번 학기 후반의 주제로, 이전 비행 기록 같은 상태 전이 데이터를 모아 동역학의 근사 모델을 배우는 방식이다.

데이터로 무엇을 배울지는 다시 두 갈래다. 수집한 경험으로 제어기를 곧바로 개선하거나, 먼저 동역학 모델을 추정한 뒤 그 모델로 제어기를 개선한다. 후자에는 시스템 식별이라는 중간 목표가 끼어든다. 경험의 형태도 셋으로 나뉘는데, 미리 모아둔 데이터셋만 쓰는 0 에피소드, 시스템을 돌리면서 실시간으로 미지 파라미터를 추정하는 1 에피소드, 환경을 반복해 초기화할 수 있는 다중 에피소드다. 경계가 엄밀하지는 않아서, 오프라인 강화학습처럼 강화학습이면서 0 에피소드에 해당하는 방법도 있다.

시스템 식별은 선형 모델을 가정하고 상태와 제어를 입력, 다음 상태를 출력으로 놓는 회귀 문제로 바뀐다. 최소자승 해는 익숙한 정규방정식 형태로 떨어지는데, 데이터가 많아지면 그 역행렬 계산이 비싸지므로 스트림 데이터를 다룰 때는 재귀적 형태를 쓴다. 잡음이 평균 0이고 서로 무상관이며 분산이 같고 유한하다면 이 추정량은 최적선형불편추정량이고, 잡음이 가우시안이면 최대우도 추정과 일치한다. 데이터가 쌓일수록 추정의 공분산은 0으로 줄지만, 여기에는 상태와 입력이 자명하게 멈추지 않고 계속 움직여야 한다는 조건이 붙는다.

강사가 강조한 한계는 정확도와 성능의 어긋남이다. 파라미터의 부호에 따라 제어 입력이 계단처럼 바뀌는 극단적 예를 들면, 참값에서 더 멀리 떨어진 추정치가 오히려 옳은 쪽 부호에 있어 제어 성능이 더 좋을 수 있다. 모델 추정이라는 중간 목표가 제어 목표와 정렬되지 않는다는 것이 시스템 식별 접근의 병목이다. 이어지는 적응 제어는 미지 파라미터를 가진 플랜트, 원하는 거동을 규정하는 기준 모델, 조정 가능한 파라미터를 지닌 피드백 제어 법칙, 그리고 적응 기구라는 네 요소로 구성된다. 질량을 모르는 이중 적분기 예제에서 추정 질량의 갱신 법칙을 정하고 후보 리아푸노프 함수의 도함수가 음수임을 보이면, 결합계가 전역 점근 안정이고 추종 오차가 0으로 수렴한다는 결론이 따라온다. 다만 기준 모델과 제어 법칙, 리아푸노프 함수를 실제로 찾아내는 일은 사례마다 완전히 다르고 그 자체로 논문이 된다는 단서를 강사는 덧붙였다.

주요 인사이트

• 시스템 식별의 근본 약점은 데이터 부족이 아니라 목표 불일치다. 모델 오차를 줄이는 일과 제어 성능을 올리는 일이 같은 방향이라는 보장이 없다.
• "데이터가 쌓이면 추정 공분산이 0으로 간다"는 결론에는 시스템이 계속 자명하지 않게 움직여야 한다는 단서가 붙는다. 좋은 추정을 위해 가진 신호를 설계해야 한다는 뜻이다.
• 고전 적응 제어는 성능 지표의 최적화가 아니라 안정성 증명을 목표로 삼는다. 같은 문제를 다루면서도 현대 강화학습과 평가 기준 자체가 다르다.
• 리아푸노프 방법의 실용적 매력은 모든 초기 조건에 대해 동역학을 적분하지 않고도 조건을 만족하는 함수 하나로 안정성을 결론지을 수 있다는 점이다.
• 데이터를 모으는 행위 자체가 안전 문제를 만든다. 시스템을 부분적으로만 아는 상태에서 돌려야 하므로 수집 단계에서 보수성이 필요하다.

자주 묻는 질문

관련 AI 소식