LQR 궤적 추종과 iLQR·DDP 원리 정리, 스탠퍼드 AA203 최적제어 8강 강의 노트

핵심 메시지

• LQR은 상태를 원점으로 몰아넣는 문제로 유도되지만, 로봇이 실제로 필요한 것은 미리 계산해 둔 궤적을 따라가는 일이다.
• 실제 상태와 기준 궤적의 차이를 새로운 변수로 두면, 추종 문제가 그대로 원점 안정화 문제, 즉 LQR 문제로 바뀐다.
• 이렇게 얻은 제어 입력은 미리 계산한 기준 입력이라는 개루프 항과 오차에 비례하는 폐루프 피드백 항의 합이라는 형태를 갖는다.
• iLQR은 같은 틀을 뒤집어, 편차를 0으로 보내는 대신 비용이 낮아지는 방향으로 궤적 자체를 변형하는 궤적 최적화 알고리즘이 된다.
• DDP는 문제를 근사한 뒤 푸는 대신 벨만 방정식의 우변을 직접 2차 근사해, 동역학의 2차 미분까지 사용하는 확장판이다.

쉽게 이해하기

이번 강의는 새로운 최적제어 개념을 꺼내는 대신, 앞 시간에 동적계획법의 예시로 유도했던 LQR을 실제 제어 루프에서 어떻게 써먹을 수 있는지에 한 시간을 통째로 쓴다. 강의자는 LQR이 P 제어 다음으로 현장에서 가장 널리 쓰이는 제어 알고리즘이라고 말하며, 두 방식은 대립 관계가 아니라 계층 관계라고 정리한다. 최하단에서 액추에이터 신호를 직접 다루는 것은 P 제어이고, 그 위에 궤적 최적화가, 다시 그 위에 목표를 정하는 의사결정 계층이 놓인다는 것이다.

먼저 LQR 자체가 조금 확장된다. 비용 함수에 상태와 입력의 교차항, 1차항, 상수항이 들어가고 동역학에도 상수 외란 항이 붙지만, 유도 과정을 그대로 반복하면 결론의 구조는 변하지 않는다. 최적 정책은 여전히 상태에 대한 선형 피드백에 앞먹임 항이 더해진 형태이고, 최적 비용은 여전히 2차 형식이다. 이런 항들을 미리 열어 두는 이유는 뒤에서 추종 문제를 선형화할 때 바로 그 항들이 튀어나오기 때문이다.

핵심은 편차 변수라는 재구성이다. 기준 궤적은 시스템이 실제로 실현 가능한 궤적이어야 하므로 같은 상태 방정식을 만족하고, 실제 상태 방정식에서 이를 빼면 편차만으로 이루어진 선형 시스템이 남는다. 목표는 이 편차를 0으로 보내는 것이므로 문제는 정확히 LQR이 된다. 다만 시스템에 실제로 넣는 입력은 편차가 아니라 기준 입력에 편차 입력을 더한 값이라는 점이 자주 혼동되는 지점으로 강조된다.

동역학이 비선형이면 기준 궤적 주변에서 테일러 전개로 야코비안을 구해 선형화하고, 그러면 다시 편차 변수에 대한 선형 시스템으로 돌아온다. 이때 선형화 지점이 시점마다 다르므로 행렬이 시간에 따라 변하지만, LQR은 원래 시간가변 선형 시스템을 다룰 수 있어 문제가 되지 않는다. 강의자는 추종 알고리즘이 기준 궤적 근처에 머무르도록 설계되므로 선형 근사가 대체로 잘 맞지만, 너무 멀리 벗어나면 근사가 무너져 제어가 불안정해질 수 있다는 단서도 함께 단다.

마지막으로 같은 도구를 반대 방향으로 쓴다. 실현 가능하지만 최적은 아닌 궤적이 주어졌을 때, 편차를 0으로 보내는 대신 비용의 2차 근사가 낮아지는 방향으로 각 경유점을 밀어내면 더 나은 궤적이 나온다. 이것이 iLQR이며, 리카티 방정식을 푸는 후방 패스와 새 입력으로 상태를 다시 만들어 내는 전방 패스를 번갈아 반복한다. DDP는 여기서 한 걸음 더 나아가 벨만 방정식 우변의 Q 함수를 직접 2차로 근사하며, 결과의 형태는 비슷하지만 이득 값이 달라진다.

주요 인사이트

• 강의자는 LQR에서 어려운 일은 문제를 푸는 것이 아니라 문제를 세우는 것이라고 말한다. 비용 행렬을 고르는 일이 곧 설계이며, 자율주행 프로그램에서 원하는 횡·종방향 응답과 승차감을 얻기까지 파라미터를 맞추는 데만 두세 달이 걸렸다고 밝힌다.
• 기준 궤적 위에서는 피드백 항이 0이 되어 기준 입력만 남는다는 점이 이 구조의 타당성 검사다. 개루프 계산의 효율과 폐루프 제어의 강인함을 함께 얻는 이 방식은 2단 설계라는 이름으로 제어와 로보틱스 전반에서 쓰인다.
• iLQR의 전방 패스에서는 선형 근사가 아니라 실제 비선형 동역학으로 적분해야 한다. 동역학을 이미 알고 있고 앞으로 적분하는 일은 어렵지 않으므로, 굳이 근사를 쓸 이유가 없다는 것이 강의자의 설명이다.
• iLQR과 SCP는 성격이 다르다. iLQR은 리카티 방정식만 구현하면 되어 간단하지만 상태·입력 제약을 명시적으로 다룰 수 없고, 제약이 들어가는 순간 리카티 방정식에 기반한 결과들이 성립하지 않는다. SCP는 구현이 복잡한 대신 볼록 제약을 그대로 다룰 수 있다.
• 지역 최적화이므로 초기화가 중요하다. 강의자는 수많은 최적제어 문제를 학습한 신경망의 예측을 웜스타트로 쓰면 데이터 기반 방식의 범용성과 최적제어의 보증을 함께 얻을 수 있다고 소개한다.

자주 묻는 질문

관련 AI 소식