모델 기반 강화학습 핵심 정리: PPO부터 불확실성 추정과 앙상블까지, 스탠퍼드 AA203 강의
스탠퍼드 최적제어 강의 마지막 회차가 TRPO와 PPO의 클리핑 원리부터 모델 기반 강화학습이 무너지는 이유, 가우시안 프로세스와 앙상블을 이용한 불확실성 추정, 그리고 자율주행 스택에서의 조합 방식까지 정리했다.
핵심 내용 읽기 →
AI TOPIC
최적제어 최신 뉴스와 핵심 해설
최적제어 관련 핵심 뉴스와 활용 인사이트 14편을 최신순으로 모았습니다.
강화학습 기초 정리: 몬테카를로와 TD 학습의 차이, 스탠퍼드 AA203 16강 해설
스탠퍼드 AA203 16강은 동역학을 아는 정확해법의 한계에서 출발해, 경험만으로 가치를 추정하는 몬테카를로와 TD 학습, 그리고 탐험을 보장하는 엡실론-그리디까지 강화학습의 뼈대를 정리한다. 격자 세계와 블랙잭 실험으로 각 방법의 차이를 눈으로 확인시킨다.
핵심 내용 읽기 →
MPC 지속 실현가능성과 안정성 조건: 종단 집합, 리아푸노프 함수, 명시적 MPC와 추종 제어
스탠퍼드 AA203 강의가 모델 예측 제어의 두 축을 정리했다. 종단 집합을 제어 불변 집합으로 잡으면 매 제어 주기마다 해의 존재가 보장되고, 최적 비용 함수를 리아푸노프 함수로 삼으면 안정성 증명이 따라온다.
핵심 내용 읽기 →
스탠퍼드 AA203 강의 정리: 도달가능집합과 모델예측제어(MPC)의 기초와 튜닝 원리
스탠퍼드 AA203 강의가 해밀턴-야코비-아이작스 방정식으로 충돌 회피용 안전 집합을 계산하는 방법과, 개루프의 속도와 폐루프의 강점을 절충하는 모델예측제어의 구조 및 세 가지 튜닝 손잡이를 함께 정리한다.
핵심 내용 읽기 →
LQR 궤적 추종과 iLQR·DDP 원리 정리, 스탠퍼드 AA203 최적제어 8강 강의 노트
스탠퍼드 AA203 8강은 상태를 원점으로 되돌리는 제어기인 LQR을 편차 변수로 바꿔 궤적 추종에 쓰고, 이를 뒤집어 궤적 자체를 개선하는 iLQR과 벨만 방정식을 직접 근사하는 DDP까지 한 시간에 정리한다.
핵심 내용 읽기 →
확률적 동적 계획법과 마르코프 결정 과정: 스탠퍼드 AA203 9강의 벨만 재귀와 Q 함수 정리
스탠퍼드 AA203 9강은 외란이 섞인 제어 문제를 마르코프 결정 과정으로 세우고, 기댓값 기반 벨만 재귀와 창고 재고 예제, 확률적 LQR, 무한 구간 MDP와 Q 함수까지 이어지는 흐름을 차례로 정리한다.
핵심 내용 읽기 →
스탠퍼드 AA203 최적제어 강의 정리: 직접법과 순차 볼록 계획법으로 궤적 최적화 문제 풀기
스탠퍼드 AA203 6강이 다룬 직접법을 정리했다. 시간을 먼저 이산화해 일반 최적화 문제로 바꾸는 슈팅과 콜로케이션, 그리고 비선형 문제를 볼록 문제의 반복으로 푸는 순차 볼록 계획법이 핵심이다.
핵심 내용 읽기 →
HJB·HJI 방정식과 도달가능집합 — 스탠퍼드 AA203 최적·학습 기반 제어 10강 정리
스탠퍼드 AA203 10강은 무한 시간 MDP의 가치 반복과 정책 반복을 마무리한 뒤, 연속시간 벨만 방정식인 HJB와 외란을 상대하는 HJI 방정식, 충돌 회피에 쓰이는 도달가능집합까지 이어서 설명한다.
핵심 내용 읽기 →
동적 계획법과 LQR 기초 정리, 스탠퍼드 AA203 최적제어 강의로 이해하는 폐루프 정책
스탠퍼드 AA203 7강 정리. 개루프 제어와 폐루프 정책의 차이, 최적성 원리와 역방향 재귀, 차원의 저주, LQR이 리카티 방정식으로 정리되는 과정을 한국어로 차근차근 풀어 설명한다.
핵심 내용 읽기 →
스탠퍼드 AA203 최적제어 3강 정리: KKT 조건부터 변분법과 오일러 방정식까지
스탠퍼드 AA203 최적제어 3강 정리. 부등식 제약을 활성 제약으로 걸러 KKT 조건을 세우고, 제어 신호 전체를 찾는 무한차원 문제를 변분법으로 다뤄 오일러 방정식에 도달하는 과정을 한국어로 풀어 설명합니다.
핵심 내용 읽기 →
스탠퍼드 AA203 최적제어 4강 정리: 오일러 방정식과 해밀토니안으로 배우는 간접법
스탠퍼드 AA203 4강은 변분법에서 얻은 오일러 방정식을 최적제어 문제로 확장한다. 경계조건이 자유로울 때 채워 넣는 추가 조건, 라그랑주 승수에 해당하는 코스테이트와 해밀토니안, 최종 시각까지 함께 구하는 입자 예제를 정리했다.
핵심 내용 읽기 →
스탠퍼드 AA203 2강 최적화 이론 정리: 최적성 필요조건부터 라그랑주 승수까지
스탠퍼드 최적·학습 기반 제어 강의 2강은 기울기가 0이라는 최적성 필요조건과 헤세 행렬 조건, 볼록 함수의 이점, 경사법의 방향과 보폭 선택, 그리고 등식 제약을 다루는 라그랑주 승수 정리를 차례로 짚는다.
핵심 내용 읽기 →
스탠퍼드 AA203 5강 정리: 폰트랴긴 최소 원리와 뱅뱅 제어, 2점 경계값 수치 해법까지
스탠퍼드 AA203 최적·학습 기반 제어 5강 요약. 제어 입력에 상한이 있을 때 최적성 조건이 폰트랴긴 최소 원리로 어떻게 강화되는지, 최소 시간·연료·에너지 문제에서 나오는 제어 형태와 수치 해법을 정리했습니다.
핵심 내용 읽기 →
스탠퍼드 최적제어 강의 AA203 1강 정리: 개루프·폐루프 제어부터 학습 기반 제어까지
스탠퍼드 AA203 첫 강의는 안정성과 추종만 다루는 고전 제어에 성능 기준, 기준 신호를 만드는 계획, 모델을 데이터로 배우는 학습이 빠져 있다고 짚고, 개루프와 폐루프 제어에서 MPC와 강화학습까지 한 학기 지도를 펼쳐 보인다.
핵심 내용 읽기 →