스탠퍼드 AA203 최적제어 강의 정리: 직접법과 순차 볼록 계획법으로 궤적 최적화 문제 풀기

핵심 메시지

• 간접법은 최적성 조건을 먼저 유도한 뒤 수치적으로 푸는 '최적화 후 이산화' 방식이고, 직접법은 시간을 먼저 이산화해 일반 비선형 최적화 문제로 바꾼 뒤 솔버에 넘기는 '이산화 후 최적화' 방식이다.
• 직접법은 상태와 제어를 모두 최적화 변수로 두는 콜로케이션 계열과, 제어만 변수로 두고 상태는 동역학으로 순차 전개하는 슈팅 계열로 나뉜다.
• 직접법으로 옮기면 고민의 무게중심이 '조건을 유도하는 수학'에서 '최적화가 실제로 수렴하게 만드는 조율'로 이동한다.
• 초기 추정값의 품질이 수렴을 좌우하며, 제약을 느슨하게 푼 해를 다음 문제의 초기값으로 쓰는 워밍업이 실전 요령으로 제시됐다.
• 순차 볼록 계획법은 비선형 동역학을 기준 궤적 주변에서 선형화해 볼록 문제를 반복적으로 푸는 방식으로, 신뢰 영역과 여유 변수로 인공적 발산·비실현성을 다룬다.

쉽게 이해하기

강의는 먼저 지난 시간에 다룬 간접법을 코드로 마무리한다. 파이썬의 경계값 문제 솔버는 대개 종단 시각이 정해진 '표준형'을 가정하는데, 종단 시각 자체가 결정 변수인 문제는 이 틀에 그대로 들어가지 않는다. 강연자는 시간을 종단 시각으로 나눈 정규화 시간을 도입해 구간을 0에서 1로 고정하고, 종단 시각을 미분이 0인 더미 상태 변수로 승격시키는 고전적 재정식화를 보여 준다.

이 요령을 직선 위 입자 문제에 적용하자, 수치 해가 내놓은 종단 시각이 앞선 강의에서 손으로 유도한 해석해와 일치했다. 강연자는 간접법이 여전히 가치 있는 이유로 해석적 제어 법칙을 얻을 수 있다는 점, 뱅뱅 제어처럼 제어 구조 자체를 파악해 해석과 시스템 설계에 쓸 수 있다는 점을 든다. 다만 로보틱스 현장의 흐름은 직접법 쪽으로 확실히 기울었다고 정리한다.

직접법의 골자는 단순하다. 시간을 잘게 나누고, 구간 안에서 제어를 상수로 고정하는 영차 유지를 가정하고, 오일러 적분으로 동역학을 근사하고, 비용의 적분을 합으로 바꾼다. 그러면 연속 시간 최적제어 문제가 유한한 변수의 비선형 최적화 문제가 되어 범용 솔버에 그대로 넘길 수 있다. 두 계열의 차이는 무엇을 변수로 둘지에 있고, 상태 제약이 복잡하면 상태를 변수로 노출하는 콜로케이션이, 그렇지 않으면 변수 수가 적은 슈팅이 유리하다는 것이 대략의 기준이다.

강의는 강을 건너는 고전 문제로 두 방식을 나란히 구현해 보인다. 강의 흐름은 양쪽 기슭에서 0이고 가운데에서 가장 세며, 전진 속력은 일정하고 제어 변수는 방향각, 비용은 각도의 제곱 합이다. 제어 한계를 넉넉히 두면 두 방식 모두 풀리지만, 한계를 해의 최적 프로파일보다 살짝 낮게 조이자 콜로케이션 구현은 출발점에도 도착점에도 닿지 못하는 엉뚱한 결과를 내놓았다. 해법은 문제를 다시 세우는 것이 아니라 초기값을 다듬는 것이었다. 느슨한 한계로 먼저 푼 해를 조인 문제의 초기 추정값으로 넣자 곧바로 수렴했고, 강연자는 초기 추정값이 실현 가능할 필요는 없다는 점과 이 사례 하나를 일반 법칙으로 확대해석하지 말라는 점을 함께 강조한다.

마지막 주제는 순차 볼록 계획법이다. 비선형 최적화가 어려우면, 기준 궤적 주변에서 동역학을 테일러 전개로 선형화해 볼록 문제를 만들고, 그것을 풀어 새 기준 궤적을 얻고, 다시 선형화하는 과정을 반복한다. 볼록 문제는 빠르고 안정적으로 전역 최적해를 주기 때문이다. 대신 대리 문제가 원래 문제에 없던 비실현성이나 무한 발산을 만들 수 있어, 기준 궤적에서 너무 멀어지지 않게 하는 신뢰 영역과, 제약을 잠시 느슨하게 하되 비용으로 벌하는 여유 변수가 필요하다.

주요 인사이트

• '최적화 후 이산화'와 '이산화 후 최적화'라는 대비는 두 접근의 성격을 압축한다. 간접법은 수식을 먼저 정리해 구조를 얻고, 직접법은 구조를 포기하는 대신 범용 솔버의 발전을 그대로 흡수한다.
• 직접법이 쉬워 보이는 것은 문제를 세우는 단계뿐이다. 실제 난이도는 초기 추정값, 이산화 간격, 솔버 선택 같은 수치적 조율로 옮겨 간다.
• 강 건너기 예제에서 제어 한계를 조금 조였을 뿐인데 해가 무너진 사례는, 직접법의 결과를 볼 때 '풀렸다'와 '옳게 풀렸다'를 반드시 구분해야 함을 보여 준다.
• 여유 변수의 값이 반복이 진행될수록 0으로 줄어드는 모습은, 초반에는 제약을 어기는 편이 최적화에 유리하지만 벌점이 결국 그것을 밀어낸다는 과정을 눈으로 확인시켜 준다.
• 강연자는 대규모 언어 모델이 최적성 조건 유도 같은 작업을 잘 해내면서 간접법의 설계·개발 과정을 앞당길 수 있다고 짧게 덧붙인다. 수식 유도의 부담이 줄면 두 접근의 손익 계산도 달라질 수 있다.

자주 묻는 질문

관련 AI 소식