PPO 강화학습 강의 정리 – 정책 경사, 어드밴티지, 중요도 샘플링과 클리핑까지 단계별 해설
AI 안전 교육 과정 ARENA의 PPO 강의를 정리했다. 바닐라 정책 경사에서 출발해 리워드 투 고, 어드밴티지와 크리틱, 적격 흔적, 중요도 샘플링과 비율 클리핑, 엔트로피 보너스까지 각 항이 왜 필요한지 짚는다.
핵심 내용 읽기 →
AI TOPIC
정책 경사 최신 뉴스와 핵심 해설
정책 경사 관련 핵심 뉴스와 활용 인사이트 13편을 최신순으로 모았습니다.
강화학습 기초 강의 정리: 정책 경사부터 PPO까지, 언어 모델이 지도학습을 넘어서는 이유
CMU 고급 자연어처리 강의가 다룬 강화학습 기초를 정리했다. 지도 미세조정의 세 가지 한계, 마르코프 결정 과정과 정책 경사, 할인과 베이스라인, PPO의 클리핑까지 언어 모델 학습의 뼈대를 짚는다.
핵심 내용 읽기 →
정책 경사(Policy Gradient)와 액터-크리틱 정리 — 스탠퍼드 AA203 강화학습 18강 강의 해설
스탠퍼드 AA203 18강은 가치 함수를 거치지 않고 정책 자체를 직접 최적화하는 정책 경사를 다룬다. 리인포스 알고리즘의 유도, 높은 분산 문제, 인과성과 베이스라인을 통한 분산 감소, 액터-크리틱과 어드밴티지 함수까지 정리했다.
핵심 내용 읽기 →
PPO 클리핑 원리 쉽게 이해하기: 강화학습에서 큰 정책 업데이트가 위험한 이유와 해법
지도학습과 달리 강화학습은 정책이 자기 학습 데이터를 직접 모은다. 한 번의 과도한 업데이트가 왜 학습 전체를 무너뜨리는지, PPO가 확률 비율 클리핑과 최소값 연산으로 이를 막는 원리를 정리했다.
핵심 내용 읽기 →
정책 경사 강의 정리: REINFORCE 분산 문제부터 PPO와 소프트 액터 크리틱까지
ETH 취리히 로봇 학습 강의 5회차를 정리했다. 정책 경사 정리의 유도부터 인과성과 베이스라인으로 분산을 줄이는 과정, 중요도 샘플링과 TRPO·PPO의 차이, 그리고 소프트 액터 크리틱까지 차례로 이어진다.
핵심 내용 읽기 →
MIT 6.S191 강화학습 강의 정리: Q러닝과 정책 학습, 자율주행·바둑 사례
MIT 딥러닝 입문 강의 6.S191의 강화학습 편을 정리했다. 에이전트와 보상 같은 기본 용어부터 Q 함수와 Q러닝의 한계, 정책 학습과 연속 행동 처리, 자율주행과 바둑에 적용된 사례까지 짚는다.
핵심 내용 읽기 →
강화학습 입문 정리: MIT 6.S191 강의로 배우는 Q 함수, 심층 Q 네트워크와 정책 경사
MIT 6.S191 심층 강화학습 강의 정리. 지도·비지도 학습과의 차이부터 Q 함수와 심층 Q 네트워크, 정책 경사 방식, 자율주행 데이터 기반 시뮬레이션과 알파고 사례까지 강의 순서 그대로 훑어본다.
핵심 내용 읽기 →
강화학습 기초 정리: MDP와 보상 설계, 정책 경사(REINFORCE)까지 스탠퍼드 CS229 강의
스탠퍼드 CS229 강의가 강화학습의 기본기를 정리했다. 상태·행동·전이·보상으로 세계를 기술하는 MDP와 할인 계수, 보상 설계에 숨은 함정, 그리고 대형 언어 모델 학습의 출발점이 되는 정책 경사 알고리즘까지 짚는다.
핵심 내용 읽기 →
강화학습 기초 정리: 여섯 가지 질문으로 DQN·정책 경사·액터 크리틱 한 번에 이해하기
Q러닝, 정책 경사, 액터 크리틱을 따로 공부해도 연결되지 않는다면 순서가 문제일 수 있다. 모든 강화학습 알고리즘이 반드시 답해야 하는 여섯 가지 질문을 기준으로 탐색과 활용, TD와 몬테카를로, 어드밴티지까지 전체 지형을 정리했다.
핵심 내용 읽기 →
강화학습 정책 경사(Policy Gradient) 원리: 퐁 게임과 PPO로 이해하기
간단한 퐁 게임 에이전트로 지도학습과 강화학습의 차이, 정책 신경망, 무작위성을 통한 탐험, 그리고 픽셀만 보고 배우는 정책 경사와 PPO까지 단계별로 풀어본다.
핵심 내용 읽기 →
강화학습 입문 총정리: 마르코프 결정 과정부터 Q러닝·정책 경사까지
신발끈 묶기처럼 규칙을 일일이 지정할 수 없는 과제를 시행착오로 배우는 강화학습을, 마르코프 결정 과정·몬테카를로·시간차·Q러닝·딥 Q네트워크·정책 경사와 뇌의 도파민 연구까지 한 흐름으로 정리했다.
핵심 내용 읽기 →
강화학습 핵심 개념: 정답이 없는 신경망을 정책 경사로 학습시키는 원리
이상적인 출력값을 미리 알 수 없을 때 신경망을 어떻게 학습시킬까. 스탯퀘스트가 감자튀김 가게 선택 예시로 강화학습과 정책 경사의 핵심을 설명한다.
핵심 내용 읽기 →
액터-크리틱 강화학습의 원리 정리: 정책망과 가치망이 함께 배우는 방법과 한계점까지
강화학습의 액터-크리틱 방법을 마르코프 결정 과정부터 시간차 학습까지 단계별로 풀어 설명한다. 행동을 정하는 정책망과 상태를 평가하는 가치망이 어떻게 협력하는지, 손실은 어떻게 계산하는지, 왜 불안정한지를 정리했다.
핵심 내용 읽기 →