스탠퍼드 AA203 최적제어 4강 정리: 오일러 방정식과 해밀토니안으로 배우는 간접법

핵심 메시지

• 간접법은 최적해를 바로 계산하는 대신, 최적이라면 반드시 성립해야 하는 조건을 미분방정식 형태로 먼저 유도하는 접근이다.
• 유한차원 최적화의 '기울기가 0' 조건에 해당하는 것이 무한차원에서는 오일러 방정식이며, 양 끝에 나뉘어 붙는 경계조건과 함께 풀어야 한다.
• 최종 상태나 최종 시각이 자유로우면 적분상수를 확정할 조건이 모자라므로, 경우별로 정리된 추가 경계조건을 찾아 채워 넣는다.
• 동역학 제약은 라그랑주 승수의 연속시간 판인 코스테이트로 흡수해 해밀토니안을 만들고, 여기서 세 갈래 최적성 조건이 나온다.
• 현실에서는 유도한 미분방정식과 경계조건을 수치 솔버에 넘기기 때문에, 간접법을 '먼저 최적화하고 나중에 이산화하는' 방식이라고 부른다.

쉽게 이해하기

스탠퍼드 온라인이 공개한 AA203 '최적 및 학습 기반 제어' 봄학기 4강은 개루프 최적제어의 간접법을 다룬다. 강의자는 이 수업의 전체 지도에서 지금 어디에 있는지부터 짚는다. 앞선 강의에서 간접법의 출발점을 소개했고, 다음 주에는 직접법으로, 그 뒤에는 폐루프 제어로 넘어간다는 순서다. 간접법의 목표는 함수 자체를 변수로 삼는 무한차원 최적화 문제에서 최적성의 필요조건을 정의하는 것이다.

핵심 도구는 변분법의 기본 정리다. 어떤 함수가 극값이 되려면 그 지점에서 범함수의 변분이 0이어야 한다는 조건인데, 강의자는 이것을 유한차원에서 미분이 0이 되는 조건과 같은 자리에 놓고 이해하라고 강조한다. 다만 이 조건 자체는 곧바로 계산에 쓸 수 없어서, 여기서 실제로 풀 수 있는 형태인 오일러 방정식을 끌어낸다. 오일러 방정식은 2계 비선형 미분방정식이고, 경계조건이 시작과 끝 양쪽에 나뉘어 붙는다는 점이 보통의 초기값 문제와 다르다.

이 기계장치가 제대로 도는지 확인하는 첫 예제는 두 점을 잇는 최단 경로다. 미소 구간의 길이를 적분해 범함수를 세우고 오일러 방정식을 적용하면 2계 도함수가 0이라는 결과가 나오고, 적분하면 직선의 방정식이 남는다. 강의자는 여기서 엄밀히 말해 증명된 것은 '직선이 최적의 후보'라는 사실이며 실제 최적임을 보이려면 2차 조건이 더 필요하다고 덧붙인다. 이어 최종 상태가 자유롭고 최종 시각만 고정된 경우로 조건을 완화해, 시작점에서 특정 세로선까지 가장 짧게 잇는 곡선이 수평선임을 같은 절차로 확인한다.

경계조건을 완화하면 적분상수를 정할 정보가 부족해지는데, 이때 쓰는 것이 경우별로 정리된 추가 경계조건이다. 최종 시각이 고정되고 최종 상태가 자유라면 특정 편미분 항이 최종 시각에서 0이 되어야 한다는 식으로, 자유로운 쪽에 해당하는 항만 남겨 조건을 뽑아낸다. 다음 확장은 동역학처럼 함수와 그 도함수를 묶는 제약을 다루는 것이다. 유한차원에서 라그랑주 승수로 제약을 목적함수에 흡수했던 것과 똑같이, 시간의 함수인 코스테이트를 도입해 증강된 비용을 만들고 거기에 오일러 방정식을 적용한다.

이 준비를 마치면 제어 입력의 크기에 제한이 없는 최적제어 문제의 필요조건이 해밀토니안 하나로 정리된다. 상태 미분은 해밀토니안을 코스테이트로 편미분한 값, 코스테이트 미분은 상태로 편미분한 값에 음수를 붙인 값, 그리고 제어에 대한 편미분은 0이라는 세 조건이다. 실전 절차는 세 번째 대수 조건으로 제어를 상태와 코스테이트의 함수로 바꾼 뒤 나머지 미분방정식을 풀고, 경계조건으로 적분상수를 확정하는 것이다. 강의자는 보통 여기까지만 손으로 하고 나머지는 수치 솔버에 맡긴다고 설명한다.

마지막 예제는 단위 질량 입자의 가속도를 직접 제어해 위치 10, 속도 0에서 원점에 정지 상태로 도달시키는 문제다. 비용은 제어 노력의 제곱 적분과 최종 시각의 제곱에 각각 가중치를 곱해 더한 형태이고, 최종 시각 자체가 자유 변수다. 2계 시스템을 1계로 바꾸고 코스테이트 두 개를 세워 해밀토니안을 쓰면 적분상수 네 개와 최종 시각까지 총 다섯 개를 확정해야 하며, 그만큼의 경계조건이 필요하다. 결과로 나온 최종 시각 식은 제어 노력 가중치가 클수록 느긋하게, 최종 시각 가중치가 클수록 서둘러 도달하는 방향으로 움직여 직관과 들어맞는다.

주요 인사이트

• 이 강의의 학습 전략은 새로운 공식을 외우게 하는 대신, 이미 익숙한 유한차원 최적화의 각 부품이 무한차원에서 무엇으로 바뀌는지 계속 대응시켜 보여 주는 것이다.
• 최단 경로가 직선이라는 뻔한 결과를 굳이 유도하는 이유는, 새로 얻은 조건이 아는 답을 재현하는지 확인해 도구를 신뢰할 수 있게 만들기 위해서다.
• 코스테이트는 처음에 사실상 0을 더하는 트릭으로 도입되지만, 나중에 계산을 방해하는 항이 사라지도록 값을 고를 수 있어서 필요조건 유도의 핵심 장치가 된다.
• 가중치와 최종 시각의 관계가 상식과 같은 방향으로 나온다는 점은, 복잡한 유도 끝에 나온 수식이 맞는지 스스로 검산하는 좋은 습관을 보여 준다.
• 손으로 끝까지 푸는 과정은 이해를 위한 것이고, 실제 업무에서는 필요조건과 경계조건을 세워 솔버에 넘기는 데까지가 사람의 몫이라는 점을 강의자가 분명히 한다.

자주 묻는 질문

관련 AI 소식