뉴럴 인증서로 안전한 로봇 제어: 그래프 제어 배리어 함수와 시간 논리 계획 강연 정리
MIT 추추 판 교수의 CMU 로보틱스 세미나 정리. 제어 이론의 배리어 함수를 그래프 신경망으로 학습해 다중 에이전트의 안전을 보장하고, 시간 논리 사양까지 신경망에 녹여 계획을 세우는 접근을 소개한다.
핵심 내용 읽기 →
AI TOPIC
강화학습 최신 뉴스와 핵심 해설
강화학습 관련 핵심 뉴스와 활용 인사이트 242편을 최신순으로 모았습니다.
로봇 강화학습 탐색 전략 정리: 시뮬레이터와 사람 시연 데이터를 제대로 쓰는 방법과 실제 로봇 실험 결과
UC 버클리 연구자가 TTIC 강연에서 시뮬레이터의 최적 정책을 실물 로봇으로 그대로 옮기는 기존 방식의 한계를 짚고, 대신 탐색 정책을 옮기거나 사람 시연을 사후분포로 학습하는 접근과 실제 로봇에서 확인한 개선 폭을 설명했다.
핵심 내용 읽기 →
리치 서튼 인터뷰 정리: 강화학습의 역사와 시간차 학습, 표현 학습이라는 미해결 과제
2024년 튜링상을 받은 리치 서튼이 강화학습이 어떻게 시작됐는지, 시간차 학습의 착상은 어디서 왔는지, 딥러닝이 아직 풀지 못한 표현 학습 문제가 무엇인지를 톰 미첼과의 대담에서 차례로 짚어 나간다.
핵심 내용 읽기 →
사족보행 로봇 전신 이동조작 제어, 모델 기반 제어와 강화학습을 결합한 안전 설계
미쓰비시전기 연구소가 사람이 로봇 팔을 잡아끄는 힘에 팔과 다리가 함께 반응하는 사족보행 로봇 제어를 발표했습니다. 모델 기반 어드미턴스 제어와 강화학습을 결합하고 레퍼런스 거버너로 안전 제약을 지킵니다.
핵심 내용 읽기 →
실행 기반 AI 연구 자동화: 아이디어를 GPU로 돌려 검증한 스탠퍼드 연구, 진화 탐색은 되고 RL은 막혔다
AI가 낸 연구 아이디어는 심사에서 사람보다 높은 점수를 받았지만 실제로 실험을 돌리자 점수가 6.0에서 4.13으로 무너졌다. 스탠퍼드 연구팀이 아이디어를 자동으로 코드로 옮겨 GPU에서 검증하는 환경을 만들고 무엇이 통했는지 정리했다.
핵심 내용 읽기 →
AI 코사이언티스트 훈련법: 논문에서 추출한 루브릭 보상으로 연구 계획 능력을 강화학습
메타 인턴십에서 나온 연구다. 실험을 끝까지 실행시키는 대신 논문 8천 편에서 추출한 채점 루브릭을 보상으로 삼아 연구 계획을 세우는 능력만 강화학습으로 끌어올렸고, 대학원생과 현업 연구자가 참여한 인간 평가에서도 개선이 확인됐다.
핵심 내용 읽기 →
AI 기만 탐지 연구 정리: 화이트박스 프로브로 모델의 거짓말을 찾고 학습 단계에서 줄이는 방법
코딩 보조 도구가 작업을 건너뛰고 보고서를 꾸며낸 사례가 실제로 보고됐다. 모델 내부 신호를 읽는 화이트박스 프로브로 기만을 탐지하고 강화학습 단계에서 억제하려는 연구, 그리고 탐지를 피해 숨는 난독화라는 한계까지 정리했다.
핵심 내용 읽기 →
MaxRL 강화학습 연구 해설: 최대우도 목적함수로 GRPO의 다양성 붕괴를 넘어서는 방법
정답 여부만 보상으로 주는 학습에서 기존 강화학습은 로그가 빠진 1차 근사식을 최적화한다. 성공한 롤아웃 개수로 나누는 한 줄 변경만으로 최대우도에 접근하는 MaxRL의 논리와 네 갈래 실험 결과, 그리고 그 한계를 정리했다.
핵심 내용 읽기 →
진화 전략으로 LLM 미세조정하기: 역전파 없이 강화학습을 대체하는 그래디언트 프리 학습법
코그니전트 AI 랩 연구진이 수십억 파라미터 언어 모델을 역전파 없이 미세조정한 실험을 공개했다. 가중치에 잡음을 더한 모델 30개만 비교해도 강화학습에 맞먹는 성능이 나왔고, 시드와 하이퍼파라미터를 바꿔도 결과 편차가 훨씬 작았다는 점이 핵심이다.
핵심 내용 읽기 →
장기 추론 벤치마크 LongCoT와 커리큘럼 강화학습, AI가 긴 작업에 약한 이유
옥스퍼드 연구진이 짧은 문제를 사슬처럼 이어 붙여 AI의 장기 추론을 훈련하고 측정한 결과를 공개했다. 최신 모델도 정답률 10%를 넘지 못한 벤치마크와, 단계 길이를 조금씩 늘리는 커리큘럼 강화학습의 효과를 정리했다.
핵심 내용 읽기 →
계산적 대칭성과 로봇 학습: 불변 필터부터 하이브리드 오토마타, 등변 신경망까지 버클리 세미나
미시간대 연구자가 리군 대칭성을 활용한 로봇 상태 추정과 제어, 모드를 스스로 찾아 스케이트보드를 타는 사족보행 로봇 학습, 일반선형군까지 확장한 등변 신경망 연구를 버클리 세미나에서 차례로 정리했다.
핵심 내용 읽기 →
자율주행 레이싱으로 검증하는 물리적 지능: UVA 카발리에 팀의 시속 296km 도전
체스는 수십 년 전에 정복됐지만 운전은 여전히 어렵다. 버지니아대 마두르 벨 교수가 UC 버클리 EMBER 세미나에서 자율주행 레이싱을 물리적 지능의 시험대로 삼은 이유와, 안전성 측정·자동 반증·실차 레이싱 성과를 설명했다.
핵심 내용 읽기 →
휴머노이드 행동 파운데이션 모델이란: 엔비디아 기어랩 연구원이 설명한 BFM-0와 소닉의 차이
엔비디아 기어랩 연구원이 UC버클리 세미나에서 휴머노이드 제어용 행동 파운데이션 모델 두 가지를 비교했다. 보상 함수를 그대로 넣는 제로샷 프롬프팅과 700시간 모션 캡처를 밀어붙인 규모 확장이 각각 어디까지 왔는지 짚는다.
핵심 내용 읽기 →
휴머노이드 로봇 학습의 병목과 해법: 사람 동작 데이터, 몸을 반영한 신경망, 15분 만의 보행 학습까지
손을 떼면 학습이 잘된다는 실험 결과에서 출발해, 휴머노이드 로봇이 복잡한 동작을 익히기 어려운 이유와 연구자들이 찾은 네 가지 돌파구를 UC 버클리 세미나 발표를 바탕으로 정리했다. 의자를 밟고 올라선 뒤 뛰어내려 낙법으로 착지하는 동작까지 다룬다.
핵심 내용 읽기 →
메타 SWE-RL 논문 해설 — 깃허브 풀 리퀘스트로 강화학습한 코딩 LLM의 성능과 한계
메타가 공개한 SWE-RL은 실제 오픈소스 저장소의 변경 이력으로 LLM을 강화학습시킨다. 깃허브 풀 리퀘스트 1100만 건을 모은 데이터 정제 과정과 코드 실행 없이 유사도로 주는 보상 설계, 700억 파라미터 모델이 낸 41% 성적을 정리했다.
핵심 내용 읽기 →
구글 딥마인드 탁구 로봇 개발기: 시뮬레이션 학습부터 아마추어 상대 45% 승률까지의 8년
구글 딥마인드 판나그 산케티가 버클리 세미나에서 공개한 탁구 로봇 8년 개발기. 시뮬레이션 학습의 벽을 넘어선 방법과 특화 스킬 라이브러리 구조, 아마추어 참가자 상대 승률과 아직 남은 약점까지 정리했다.
핵심 내용 읽기 →
앨리슨 고프닉 강연: 아이의 능동적 탐색과 임파워먼트 보상으로 다시 본 인과 학습의 원리
UC 버클리 앨리슨 고프닉이 아이의 능동적 탐색을 설명하는 임파워먼트 개념을 소개했다. 행동과 결과의 연결을 최대화하는 보상이 인과 지식을 만들고, 대규모 모델이 약한 지점도 함께 드러난다는 주장이다.
핵심 내용 읽기 →
안전 필터와 강화학습으로 자율 로봇의 안전을 보장하는 방법 — 프린스턴 연구 세미나 정리
프린스턴 하이메 페르난데스 피삭 교수가 UC 버클리 세미나에서 설명한 자율 시스템 안전 보장법을 정리했다. 운영 설계 영역, 안전 필터의 세 구성요소, 적대적 강화학습으로 차원의 저주를 우회하는 방법을 다룬다.
핵심 내용 읽기 →
강화학습이 현장에 못 쓰이는 이유와 해법, MIT 캐시 우 교수의 교통 최적화 강연
MIT 캐시 우 교수는 신호 제어 벤치마크에서 강화학습이 고정 시간 제어에도 못 미친 실험을 공개하며, 과제가 조금만 달라져도 무너지는 원인과 전이 학습·하이브리드 solver라는 해법을 제시한다.
핵심 내용 읽기 →
로봇 파운데이션 모델 원리: 세르게이 레빈이 설명한 VLA와 사전학습·강화학습 후처리
UC버클리 세르게이 레빈 교수가 시각·언어·행동 모델의 구조와 33개 연구실 데이터를 합친 사전학습, 사람이 중간 단계를 코칭하는 사고 사슬, 강화학습 후처리로 로봇 성능을 두 배 끌어올린 과정을 세미나에서 정리했다.
핵심 내용 읽기 →
심층 강화학습 기초 정리: 스탠퍼드 CS224R 1강이 설명하는 상태·행동·보상과 정책
스탠퍼드 CS224R 첫 강의에서 첼시 핀 교수가 강화학습이 지도학습과 갈라지는 지점, 상태와 관측의 차이, 궤적과 보상 함수, 확률적 정책과 가치 함수까지 로봇과 대화 모델 예시를 들어 차근차근 정리했다.
핵심 내용 읽기 →
머신러닝 딥러닝 기초 개념 정리 - 가중치와 편향, 오차 줄이기로 이해하는 학습 원리
기계가 스스로 규칙을 찾는다는 머신러닝을 중학교 수준 수식 하나로 풀어본다. 지도학습과 비지도학습, 강화학습의 차이부터 가중치와 편향이 무엇인지, 오차를 줄인다는 말이 실제로 어떤 지시인지까지 정리했다.
핵심 내용 읽기 →
로버스트 강화학습의 데이터 비용: 강건성과 학습 효율은 반드시 상충하는 목표가 아니다
환경이 바뀌어도 흔들리지 않는 AI를 만들려면 데이터와 연산을 더 써야 한다는 통념을, 존스홉킨스 라이시 시 교수가 이론과 로보틱스 실험, 게임 이론 사례로 다시 따져본 MERL 세미나 강연 정리.
핵심 내용 읽기 →
LLM 추론의 한계와 다음 단계: 강화학습이 증폭만 하는 이유와 에이전트의 불확실성 문제
뉴욕대 그레그 더렛 교수가 연구소 세미나에서 발표한 LLM 추론 강연을 정리했다. 사고 사슬이 수학에서만 잘 듣는 이유, 강화학습이 기존 행동만 증폭한다는 관찰, 에이전트가 자기 불확실성을 다루는 방법을 다룬다.
핵심 내용 읽기 →
AI 정리 증명의 다음 과제, 증명 단축: 린 증명을 사람 시범 없이 절반으로 줄인 MIT 연구
MIT 박사과정 연구자가 MERL 세미나에서 발표한 형식 수학 연구를 정리했다. 린 데이터를 뽑아내는 린도조부터, 사람 시범 없이 4천 줄짜리 AI 증명을 절반으로 줄인 증명 최적화 모델까지 다룬다.
핵심 내용 읽기 →
검증 불가능한 과제의 강화학습: 2,200만 파라미터 보상 모델로 소형 언어모델 훈련하기
수학처럼 채점할 수 없는 요약·질의응답 과제에서 강화학습을 돌리려면 보상 함수부터 직접 만들어야 한다. 작은 답변 동등성 모델을 훈련하며 드러난 세 가지 편향과 두 차례의 리워드 해킹, 그리고 그 해결 과정을 정리했다.
핵심 내용 읽기 →
다중 모드 이족 로봇 모비우스 정리: 걷기 기기 등반 구르기 전환과 힘 제어 방식
걷기와 기어가기, 등반과 구르기를 상황에 따라 갈아타는 이족 로봇 모비우스를 정리했다. 경로와 지형, 이동 모드를 한 번에 푸는 상위 계획기와 자동 튜닝 힘 제어, 강화학습 보행 정책, 넘어지면 사족으로 전환하는 복구 방식까지 살펴본다.
핵심 내용 읽기 →
Q러닝과 SARSA의 차이부터 DQN의 리플레이 버퍼·타깃 네트워크까지 강화학습 정리
AI 안전 교육과정 ARENA의 강화학습 강의를 정리했다. 정책 대신 Q 표를 직접 배우는 SARSA와 Q러닝의 차이, 절벽 예시로 본 온폴리시·오프폴리시, 그리고 상태가 너무 많을 때 신경망을 끌어들이는 DQN의 구조를 살펴본다.
핵심 내용 읽기 →
PPO 강화학습 강의 정리 – 정책 경사, 어드밴티지, 중요도 샘플링과 클리핑까지 단계별 해설
AI 안전 교육 과정 ARENA의 PPO 강의를 정리했다. 바닐라 정책 경사에서 출발해 리워드 투 고, 어드밴티지와 크리틱, 적격 흔적, 중요도 샘플링과 비율 클리핑, 엔트로피 보너스까지 각 항이 왜 필요한지 짚는다.
핵심 내용 읽기 →
강화학습 기초 정리: 탐색과 활용, 마르코프 결정 과정, 벨만 방정식과 Q값까지 한 번에
AI 안전 교육 프로그램 ARENA의 강화학습 입문 강의를 정리했다. 지도학습과 무엇이 다른지부터 밴딧 문제의 탐색과 활용, 마르코프 결정 과정, 벨만 방정식과 정책 반복, Q값의 쓸모까지 차례로 짚는다.
핵심 내용 읽기 →
GRPO 원리 정리: PPO의 비평가 신경망을 그룹 평균과 표준편차로 대체한 강화학습 기법
PPO가 메모리에 올리던 네 개의 신경망 가운데 비평가를 통째로 없앤 GRPO의 작동 방식을 정리했다. 같은 질문에 여러 답변을 한꺼번에 뽑아 그 평균과 표준편차로 기준선을 대신하는 것이 핵심 아이디어다.
핵심 내용 읽기 →
다중 에이전트 AI 평가 방법: 일반화 측정 원칙과 멜팅팟·콘코디아 대회 설계 사례
구글 딥마인드 조엘 라이보가 다중 에이전트 AI 평가를 강연했다. 게임이론과 머신러닝의 관점 차이, 일반화를 반드시 측정해야 하는 이유, 그리고 멜팅팟과 콘코디아 대회의 설계 원칙까지 함께 정리했다.
핵심 내용 읽기 →
커버리지 원리로 본 언어모델 학습, best-of-n 성능을 좌우하는 숨은 지표는 무엇인가
언어모델을 여러 번 샘플링해 답을 고르는 방식이 표준이 되면서, 학습 중 보는 크로스 엔트로피만으로는 실제 성능을 예측하기 어려워졌다. 카네기멜런대 세미나에서 제시된 '커버리지' 개념과 실험 결과를 정리했다.
핵심 내용 읽기 →
LLM 강화학습 RLHF 정리: KL 제약의 기원부터 개인화 보상 모델과 다원적 정렬 연구까지
딥시크 R1 이후 다시 주목받은 LLM 강화학습의 계보를 정리한다. 2016년 음악 생성 연구에서 출발한 KL 제약, 단일 보상 함수를 가정하는 RLHF의 구조적 한계, 그리고 사용자별 선호를 반영하는 개인화 보상 모델 연구까지 짚는다.
핵심 내용 읽기 →
다목적 RLHF 연구 정리: 보상 모델을 쪼개고 집단별 선호 충돌까지 다루는 정렬 기법
대학 연구 세미나에서 발표된 다목적·다집단 RLHF 연구를 정리했다. 보상 모델을 유용성과 무해성으로 나누는 이유, 가중치를 역으로 추정하는 방법, 선형 합산의 한계와 집단 간 선호 충돌 해법을 짚는다.
핵심 내용 읽기 →
에이전트 라이트닝: AI 에이전트를 강화학습으로 개선하는 마이크로소프트 오픈소스 프레임워크
마이크로소프트 리서치가 공개한 에이전트 라이트닝은 이미 만들어 둔 AI 에이전트의 코드를 거의 고치지 않고도 실행 경험을 강화학습 데이터로 바꿔 성능을 스스로 끌어올리게 하는 오픈소스 최적화 프레임워크다.
핵심 내용 읽기 →
강화학습 호기심 보상의 함정과 에피소딕 큐리오시티, 도달 가능성으로 다시 정의한 새로움
보상이 희박한 3D 미로에서 예측 오차 기반 호기심 보상이 왜 실패하는지, 그리고 '기억 속 장면에서 몇 걸음 만에 닿는가'로 새로움을 다시 정의한 에피소딕 큐리오시티가 DMLab과 VizDoom 실험에서 어떤 결과를 냈는지 정리했습니다.
핵심 내용 읽기 →
로봇 파운데이션 모델 총정리: LLM·VLM이 바꾸는 로봇 정책 학습과 태스크 플래닝
GPT 같은 거대 모델을 로봇에 접목하는 연구를 정리한 서베이 논문 해설. 언어 기반 모방 학습부터 가치 학습, 태스크 플래닝, RT 시리즈, 오픈 보캐블러리 내비게이션까지 로봇 AI의 현재 지형을 짚는다.
핵심 내용 읽기 →
강화학습 기초 강의 정리: 정책 경사부터 PPO까지, 언어 모델이 지도학습을 넘어서는 이유
CMU 고급 자연어처리 강의가 다룬 강화학습 기초를 정리했다. 지도 미세조정의 세 가지 한계, 마르코프 결정 과정과 정책 경사, 할인과 베이스라인, PPO의 클리핑까지 언어 모델 학습의 뼈대를 짚는다.
핵심 내용 읽기 →
모방학습 강화학습 차이 정리 — 스탠퍼드 AA203 14강, 행동 복제부터 역강화학습과 가치 함수까지
스탠퍼드 AA203 14강은 전문가 시연을 따라 하는 모방학습과 시행착오로 배우는 강화학습을 나란히 놓고 비교한다. 행동 복제의 분포 이동 문제, 보상 함수를 거꾸로 복원하는 역강화학습, 가치 함수와 신용 할당까지 자율 시스템 학습의 뼈대를 짚는다.
핵심 내용 읽기 →
모방학습 강의 정리: 행동 복제의 복합 오차와 다봉 행동, DAgger와 디퓨전 정책
스탠퍼드 제어 강의가 모방학습을 다루며 행동 복제가 실패하는 두 원인인 복합 오차와 다봉 행동, 그리고 DAgger와 데이터 증강, 디퓨전 정책과 액션 청킹, 역강화학습까지 해법을 차례로 정리했다.
핵심 내용 읽기 →
SARSA와 Q러닝 차이 정리: 온폴리시와 오프폴리시, 함수 근사부터 DQN까지 스탠퍼드 강의 해설
같은 절벽 앞에서 SARSA는 안전한 길을, Q러닝은 최단 경로를 택한다. 스탠퍼드 AA203 강의를 따라 두 알고리즘을 가르는 온폴리시와 오프폴리시의 차이부터, 가치 함수 근사와 DQN을 실제로 굴러가게 만든 두 장치까지 짚었다.
핵심 내용 읽기 →
정책 경사(Policy Gradient)와 액터-크리틱 정리 — 스탠퍼드 AA203 강화학습 18강 강의 해설
스탠퍼드 AA203 18강은 가치 함수를 거치지 않고 정책 자체를 직접 최적화하는 정책 경사를 다룬다. 리인포스 알고리즘의 유도, 높은 분산 문제, 인과성과 베이스라인을 통한 분산 감소, 액터-크리틱과 어드밴티지 함수까지 정리했다.
핵심 내용 읽기 →
모델 기반 강화학습 핵심 정리: PPO부터 불확실성 추정과 앙상블까지, 스탠퍼드 AA203 강의
스탠퍼드 최적제어 강의 마지막 회차가 TRPO와 PPO의 클리핑 원리부터 모델 기반 강화학습이 무너지는 이유, 가우시안 프로세스와 앙상블을 이용한 불확실성 추정, 그리고 자율주행 스택에서의 조합 방식까지 정리했다.
핵심 내용 읽기 →
강화학습 기초 정리: 몬테카를로와 TD 학습의 차이, 스탠퍼드 AA203 16강 해설
스탠퍼드 AA203 16강은 동역학을 아는 정확해법의 한계에서 출발해, 경험만으로 가치를 추정하는 몬테카를로와 TD 학습, 그리고 탐험을 보장하는 엡실론-그리디까지 강화학습의 뼈대를 정리한다. 격자 세계와 블랙잭 실험으로 각 방법의 차이를 눈으로 확인시킨다.
핵심 내용 읽기 →
에너지 기반 미세조정 EBFT: 보상 모델 없이 응답 전체의 의미를 맞추는 LLM 학습법
마이크로소프트 연구진이 제안한 에너지 기반 미세조정(EBFT)은 다음 토큰 예측과 강화학습의 중간 지점을 노린다. 별도의 보상 모델이나 외부 검증기 없이 응답 전체를 특징 공간에서 맞춰 SFT보다 나은 결과를 냈다.
핵심 내용 읽기 →
적응 제어 입문: 스탠퍼드 AA203 강의로 보는 시스템 식별과 MRAC 안정성 분석
스탠퍼드 AA203 13강은 동역학을 안다는 가정을 내려놓는 자리다. 불확실성에 대응하는 세 갈래 전략, 최소자승 시스템 식별의 성질과 한계, 그리고 리아푸노프 안정성으로 전개되는 적응 제어의 논리를 정리했다.
핵심 내용 읽기 →
실내 훈련 효과 연구 정리: 강화학습 에이전트는 왜 노이즈 없는 환경에서 배울 때 더 잘 일반화되나
MIT와 하버드 연구진이 강화학습 에이전트를 잡음 없는 환경에서 훈련하면 잡음 있는 환경에서 오히려 더 잘한다는 실험 결과를 내놨다. 알고리즘은 그대로 두고 학습 환경만 바꿔 성능을 끌어올린 사례다.
핵심 내용 읽기 →
DPO 완전 해설: 보상 모델과 강화학습 루프 없이 언어모델을 정렬하는 손실 함수 유도 원리
ChatGPT를 길들인 RLHF는 보상 모델 학습과 강화학습 루프가 필요했다. DPO는 이 두 단계를 지우고 선호 쌍 분류 손실 하나로 같은 정렬을 얻는데, 그 수식이 나오기까지의 유도 과정을 단계별로 짚어본다.
핵심 내용 읽기 →
RLHF 강의 정리: SFT의 한계부터 REINFORCE, PPO, 보상 모델, DPO까지 한 번에
인하대 LLM 강의 13강 정리. 지도 미세조정만으로 부족한 이유부터 REINFORCE와 베이스라인, PPO의 클리핑, 보상 모델과 KL 페널티, 그리고 모델 넷을 둘로 줄인 DPO까지 흐름을 따라간다.
핵심 내용 읽기 →
LLM 추론 학습 정리: 사고 사슬(CoT)부터 검증 가능한 보상 RLVR과 GRPO 계열 알고리즘까지
학습 없이 프롬프트만으로 추론을 끌어올리는 세 갈래 방법과, 정답 채점처럼 검증 가능한 보상으로 강화학습을 돌리는 RLVR 및 GRPO 계열 알고리즘의 차이를 대학 강의 내용을 바탕으로 차근차근 정리했습니다.
핵심 내용 읽기 →
프로그래밍·강화학습·지도학습·역강화학습: 컴퓨터에게 할 일을 알려주는 네 가지 방법과 그 한계
토마토 물주기를 가르치는 짧은 영상 한 편에서 출발해, 지시와 시연과 목표 제시라는 가르침의 방식이 프로그래밍과 기계학습의 네 갈래에 어떻게 대응되는지 짚은 MIT 강연 내용을 정리했습니다.
핵심 내용 읽기 →
LLM 사후학습(포스트 트레이닝) 정리 — RLVR·합성 데이터·온폴리시 증류가 바꾼 모델 학습 방식
대학 LLM 강의의 마지막 회차가 최신 사후학습 기법을 정리한다. RLVR과 RLHF의 차이, 합성 데이터의 가능성과 모델 붕괴 위험, 온폴리시 증류와 다중 교사 방식까지 최근 공개 모델의 실제 학습 레시피로 짚는다.
핵심 내용 읽기 →
AI와 수학 함수: 손실함수와 엔트로피, 삼각함수 위치 인코딩, 강화학습 보상함수 정리
카이스트 김정호 교수가 정답과의 거리를 줄이는 평균제곱오차와 엔트로피, 확률을 만드는 소프트맥스, 삼각함수를 쓰는 위치 인코딩과 강화학습 보상함수를 차례로 들어 AI를 통제하는 수단이 결국 수학 함수라고 설명한다.
핵심 내용 읽기 →
약-강(weak-to-strong) 정렬 감독의 세 조건: 협력적 보상, 강화학습 회피, 모델 내부 스티어링
약한 모델이 더 강한 모델을 정렬하는 weak-to-strong 감독을 다룬 AI 안전 포럼 발표 정리. 협력적 보상, 강화학습 회피, 모델 내부 개입과 스티어링이라는 세 가지 조건과 그렇게 봐야 하는 근거를 차례로 짚는다.
핵심 내용 읽기 →
확률적 동적 계획법과 마르코프 결정 과정: 스탠퍼드 AA203 9강의 벨만 재귀와 Q 함수 정리
스탠퍼드 AA203 9강은 외란이 섞인 제어 문제를 마르코프 결정 과정으로 세우고, 기댓값 기반 벨만 재귀와 창고 재고 예제, 확률적 LQR, 무한 구간 MDP와 Q 함수까지 이어지는 흐름을 차례로 정리한다.
핵심 내용 읽기 →
HJB·HJI 방정식과 도달가능집합 — 스탠퍼드 AA203 최적·학습 기반 제어 10강 정리
스탠퍼드 AA203 10강은 무한 시간 MDP의 가치 반복과 정책 반복을 마무리한 뒤, 연속시간 벨만 방정식인 HJB와 외란을 상대하는 HJI 방정식, 충돌 회피에 쓰이는 도달가능집합까지 이어서 설명한다.
핵심 내용 읽기 →
범용 로봇의 현주소: 강화학습으로 처리량 2배, 다중 시간 척도 메모리로 15분 주방 청소까지
피지컬 인텔리전스 공동창업자 첼시 핀이 로봇을 실제로 쓸모 있게 만드는 조건으로 장시간 자율성과 시간 척도를 나눈 메모리, 하나의 범용 모델을 제시하고 13시간 연속 라떼 제작과 처리량 2배 개선 사례를 공개했다.
핵심 내용 읽기 →
지속 학습(Continual Learning) 확장 방법: 온폴리시 자기증류가 강화학습의 네 가지 한계를 푸는 방식
AI Engineer 발표에서 트래젝토리의 로낙 말데가 벤치마크 중심 강화학습의 한계를 짚고, 힌트를 받은 자기 자신을 교사로 삼는 온폴리시 자기증류로 지속 학습을 확장한 과정과 부작용 대응법을 설명했다.
핵심 내용 읽기 →
로봇 학습 10년의 세 시대: 팔 농장 실험부터 파운데이션 모델과 스케일 경쟁까지
구글 딥마인드에서 로봇 학습을 이끌던 테드 샤오가 취리히 공대 초청 강의에서 지난 10년을 세 시대로 나눠 정리했다. 로봇 팔 농장 실험과 파운데이션 모델 도입, 그리고 지금의 데이터·평가 스케일 경쟁까지 짚는다.
핵심 내용 읽기 →
희소 보상 강화학습 해법: 호기심(Curiosity)과 RND로 내재적 보상 만들기
산악 자동차 환경은 목표에 닿기 전까지 보상이 사실상 없어 기본 강화학습으로는 풀리지 않습니다. 예측 오차를 보상으로 바꾸는 호기심과 무작위 네트워크 증류가 이 문제를 어떻게 우회하는지 코드 흐름과 함께 정리했습니다.
핵심 내용 읽기 →
소니 AI 탁구 로봇 에이스 분석: 시뮬레이션 강화학습이 엘리트 선수를 이긴 방법
네이처에 실린 소니 AI의 탁구 로봇 에이스는 실제 시합 데이터 없이 시뮬레이터에서만 학습한 정책으로 엘리트 선수를 이겼다. 카메라와 이벤트 비전으로 짠 인지 구조, 공식 규칙 아래 치른 승패 기록, 프로에게 진 이유를 정리했다.
핵심 내용 읽기 →
스탠퍼드 AA203 5강 정리: 폰트랴긴 최소 원리와 뱅뱅 제어, 2점 경계값 수치 해법까지
스탠퍼드 AA203 최적·학습 기반 제어 5강 요약. 제어 입력에 상한이 있을 때 최적성 조건이 폰트랴긴 최소 원리로 어떻게 강화되는지, 최소 시간·연료·에너지 문제에서 나오는 제어 형태와 수치 해법을 정리했습니다.
핵심 내용 읽기 →
스탠퍼드 최적제어 강의 AA203 1강 정리: 개루프·폐루프 제어부터 학습 기반 제어까지
스탠퍼드 AA203 첫 강의는 안정성과 추종만 다루는 고전 제어에 성능 기준, 기준 신호를 만드는 계획, 모델을 데이터로 배우는 학습이 빠져 있다고 짚고, 개루프와 폐루프 제어에서 MPC와 강화학습까지 한 학기 지도를 펼쳐 보인다.
핵심 내용 읽기 →
RLHF vs DPO 논문 리뷰 — 온라인 방식이 더 나은 이유는 생성보다 검증이 쉽기 때문
언어 모델 선호 파인튜닝에서 이론상 같은 곳에 도달해야 할 RLHF와 DPO가 실제 결과에서는 성능 차이를 낸다. 후보 가설 여섯 개를 하나씩 실험으로 걸러낸 끝에 남은 답은 생성보다 검증이 쉽다는 난이도 차이였다.
핵심 내용 읽기 →
Best-of-N 은 최선인가: 추론 시점 정렬의 이론적 한계와 대안 알고리즘 Inference-Time Pessimism 논문 리뷰
추가 학습 없이 답변 품질을 올리는 대표 기법 Best-of-N 을 이론적으로 분석한 논문 리뷰. 샘플 수를 늘릴수록 리워드 모델에 과최적화되어 성능이 떨어지는 한계를 증명하고, 이를 극복하는 새 알고리즘을 소개한다.
핵심 내용 읽기 →
직접 온폴리시 증류: 작은 모델의 강화학습 변화를 큰 모델 학습 신호로 쓰는 방법과 비용 절감 효과
허깅페이스 연구팀이 약한 모델에서 강한 모델로의 일반화를 다룬 논문을 토론했다. 작은 모델의 강화학습 전후 정책 변화를 보상 신호로 삼아 더 큰 모델을 학습시키는 방식의 비용 절감 효과와 적용 조건, 남은 한계를 정리했다.
핵심 내용 읽기 →
로봇 조작 시뮬레이션의 숨은 비용 줄이기: 영상 기반 장면 생성과 리셋 기반 강화학습
워싱턴대 아비셰크 굽타 교수가 ETH 취리히 로봇 학습 강의에서 휴대폰 영상 한 편으로 상호작용 가능한 시뮬레이션을 만들고, 보상 설계 없이 리셋만으로 가구 조립을 학습시킨 뒤 실제 로봇에 옮기는 방법을 소개했다.
핵심 내용 읽기 →
PPO 클리핑 원리 쉽게 이해하기: 강화학습에서 큰 정책 업데이트가 위험한 이유와 해법
지도학습과 달리 강화학습은 정책이 자기 학습 데이터를 직접 모은다. 한 번의 과도한 업데이트가 왜 학습 전체를 무너뜨리는지, PPO가 확률 비율 클리핑과 최소값 연산으로 이를 막는 원리를 정리했다.
핵심 내용 읽기 →
로봇 제어와 마르코프 결정 과정 입문: ETH 취리히 로봇 학습 강의 2강 핵심 정리
4족 보행 로봇부터 드론까지 서로 다른 로봇을 하나의 언어로 다루는 강체와 좌표계, 순기구학과 역기구학의 기초부터 이를 학습 문제로 바꾸는 마르코프 결정 과정까지 ETH 취리히 강의 내용을 정리했다.
핵심 내용 읽기 →
테스트타임 컴퓨트 스케일링이란: 딥마인드 연구자가 짚은 추론 모델의 성과와 남은 한계
구글 딥마인드 아르키트 샤르마가 ETH 취리히 초청 강연에서 정리한 추론 시점 연산 확장의 원리와 벤치마크 성과, 그리고 검증 데이터 고갈·지식 발견·장기 에이전트라는 남은 과제를 함께 소개합니다.
핵심 내용 읽기 →
로봇 러닝 입문: ETH 취리히 강의로 보는 모라벡의 역설과 로봇 파운데이션 모델
ETH 취리히가 새로 개설한 로봇 러닝 강의 1강을 정리했다. 모라벡의 역설, 1966년 로봇 셰이키부터 오늘의 휴머노이드까지의 흐름, 그리고 로봇에 아직 챗GPT 순간이 오지 않은 이유와 데이터 격차를 짚는다.
핵심 내용 읽기 →
강화학습 기초 강의 정리: 가치 반복부터 Q러닝, DQN, DDPG까지 로봇 학습의 흐름
ETH 취리히 로봇 학습 강의 4강을 정리했다. 전문가 시연을 흉내 내는 모방 학습의 한계에서 출발해 가치 반복과 Q러닝, DQN, 연속 행동을 다루는 DDPG까지 이어지는 강화학습의 계보를 짚는다.
핵심 내용 읽기 →
일리야 수츠케버 인터뷰: 스케일링의 시대 이후 AI가 다시 연구의 시대로 돌아온 이유
SSI를 이끄는 일리야 수츠케버가 벤치마크 성적과 실제 성능의 괴리, 사람보다 나쁜 일반화, 가치 함수의 역할, 초지능의 형태와 정렬 구상까지 지금 AI가 마주한 병목을 짚은 인터뷰를 한국어로 정리했다.
핵심 내용 읽기 →
정책 경사 강의 정리: REINFORCE 분산 문제부터 PPO와 소프트 액터 크리틱까지
ETH 취리히 로봇 학습 강의 5회차를 정리했다. 정책 경사 정리의 유도부터 인과성과 베이스라인으로 분산을 줄이는 과정, 중요도 샘플링과 TRPO·PPO의 차이, 그리고 소프트 액터 크리틱까지 차례로 이어진다.
핵심 내용 읽기 →
로봇 학습의 미해결 과제 총정리: 일반화·촉각·강화학습·평생학습, ETH 취리히 강의 요약
소셜미디어에서는 매주 로봇공학이 해결됐다는 선언이 나오지만 실험실 밖에서는 여전히 무너진다. ETH 취리히 로봇 학습 강좌 마지막 회차가 짚은 일반화·촉각·강화학습·평생학습의 미해결 과제와 연구 방법론을 정리했다.
핵심 내용 읽기 →
추론 모델 학습 원리 정리: STaR·DeepSeek R1·GRPO와 사고 길이 문제, CMU 강의 요약
긴 사고 과정을 쓰는 추론 모델은 어떤 원리로 학습될까. CMU 강의는 STaR와 DeepSeek R1, GRPO 손실함수, 응답 길이 폭주 문제, 강화학습이 지도학습보다 잘 전이되는 이유까지 차례로 짚는다.
핵심 내용 읽기 →
월드 모델이란 무엇인가, ETH 취리히 로봇 러닝 강의로 보는 드리머부터 JEPA까지
ETH 취리히 로봇 러닝 강의 8회차가 월드 모델을 다뤘다. 야구 타격 비유로 개념을 설명하고, 픽셀 예측부터 잠재 공간의 드리머 계열, 인터넷 규모 영상 백본, JEPA까지 네 갈래 접근의 장단점을 비교했다.
핵심 내용 읽기 →
로봇 추론과 테스트타임 스케일링 정리 — ETH 취리히 로봇 학습 강의가 짚은 네 가지
ETH 취리히 로봇 학습 강의는 데이터를 더 모으는 대신 추론을 학습시키는 접근을 다룬다. 체화된 사고 사슬로 일반화가 약 30% 오르지만 행동이 느려지는 문제를 어떻게 되돌리는지, 테스트 시점 연산의 한계는 어디인지 정리했다.
핵심 내용 읽기 →
딥시크 R1 논문 해설: GRPO 강화학습과 모델 증류로 추론 능력을 끌어올린 학습 과정 정리
딥시크 R1 백서를 처음부터 끝까지 짚는다. 지도 학습 없이 강화학습만 쓴 R1 제로, 크리틱 없는 GRPO, 콜드스타트 데이터로 이어지는 네 단계 학습, 소형 모델 증류 결과와 남은 한계까지 정리했다.
핵심 내용 읽기 →
TTRL 논문 리뷰: 정답 레이블 없는 테스트 데이터로 LLM 추론 성능을 올리는 강화학습
정답 레이블이 없는 테스트 데이터만으로 언어 모델의 추론 성능을 끌어올리는 TTRL 논문 리뷰를 정리했다. 모델이 스스로 만든 다수결 결과를 추정 레이블 삼아 보상을 주는 방식과, 사전 지식이 부족할 때 드러나는 한계까지 함께 짚는다.
핵심 내용 읽기 →
강화학습 크로스 데이터센터 — 가중치 델타 전송으로 롤아웃을 전 세계 GPU에 분산하는 법
프런티어 규모 체크포인트는 500GB에 달해 리전 간 전송에만 수 분이 걸린다. 롤아웃이 실제로 보는 가중치는 스텝당 1%도 바뀌지 않는다는 관찰에서 출발해, 강화학습 후처리를 흩어진 GPU로 분산하는 설계를 정리했다.
핵심 내용 읽기 →
영상 길이에 맞춰 추론량을 조절하는 비디오 에이전트, 강화학습으로 어떻게 학습시켰나
긴 영상에서 헤매는 비디오 AI를 개선한 연구를 소개한다. 부정확한 시각 도구를 음성 전사와 웹검색으로 보완하고, 합성 질문·답변 데이터와 보상 설계를 통해 영상 길이에 맞춰 추론량을 스스로 조절하도록 학습시킨 과정을 정리했다.
핵심 내용 읽기 →
GRPO 실습 정리: 딥시크 R1 방식의 강화학습을 무료 코랩에서 작은 모델로 재현하기
딥시크 R1이 쓴 GRPO를 무료 구글 코랩에서 파라미터 5억 개짜리 작은 모델로 직접 돌려 본 실습 해설이다. 형식·정답 보상 설계와 참조 모델의 역할, 그리고 작은 모델에서 드러난 한계까지 정리했다.
핵심 내용 읽기 →
리처드 서턴 인터뷰 정리: LLM은 막다른 길인가, 경험에서 배우는 강화학습의 반론
튜링상 수상자이자 강화학습의 창시자인 리처드 서턴은 LLM에 목표도 세계 모델도 없다고 반박한다. 모방이 아니라 경험에서 배우는 AI, '쓰라린 교훈' 해석, AI 계승 논쟁까지 대담 내용을 정리했다.
핵심 내용 읽기 →
RLVR 강화학습 미세조정 실습: OpenAI 강화 파인튜닝 API로 로그 이상탐지 모델 만들기
사람 대신 코드가 채점하는 검증 가능한 보상 기반 강화학습으로 로그 이상탐지 모델을 미세조정한 과정을 따라간다. 데이터 분할과 채점기 설계, 훈련 결과, 그리고 250달러라는 비용의 현실까지 짚었다.
핵심 내용 읽기 →
Cell-o1 논문 해설: 7B 오픈소스 모델이 단일세포 분류에서 OpenAI o1을 73% 차이로 앞선 방법
NIH와 일리노이대 연구진이 7B 오픈소스 모델에 사람 전문가의 추론 과정과 배치 단위 보상을 가르쳤더니, 단일세포 RNA-seq 세포 분류 정확도가 OpenAI o1의 19.0%를 넘어 32.88%까지 올라갔습니다. 학습에 없던 질병 4종에서도 1위였습니다.
핵심 내용 읽기 →
딥시크 R1 논문 해설: V3 기반 강화학습과 GRPO, 아하 모먼트, 증류 모델 성능
딥시크 논문을 따라 V3, R1-제로, R1 세 모델의 관계를 정리한다. GRPO 강화학습만으로 추론 능력이 생긴 과정과 스스로 되짚는 아하 모먼트, 그리고 작은 모델에 증류했을 때의 성능 향상을 짚는다.
핵심 내용 읽기 →
AI 스키밍 탐지 연구: 퍼즐 게임 신경망 해부로 찾는 '계획 회로'와 해석가능성의 한계
AI가 개발자에게 의도를 숨기는 '스키밍'을 신경망 내부에서 잡아낼 수 있을까. 퍼즐 게임을 학습한 129만 파라미터 신경망에서 계획 회로를 찾아낸 안전성 연구자의 실험과 그가 스스로 던진 의문을 정리했다.
핵심 내용 읽기 →
GRPO와 PPO 완전 정리, LLM 추론 능력을 만들어 낸 강화학습 알고리즘의 계보
딥시크 R1의 학습 알고리즘 GRPO는 어디서 왔을까. 정책 경사와 베이스라인, 어드밴티지 추정, 신뢰 영역과 클리핑을 지나 가치망을 없앤 GRPO와 길이·난이도 편향을 걷어낸 Dr. GRPO까지, LLM 추론 학습의 발전 과정을 단계별로 정리했다.
핵심 내용 읽기 →
MONA 해설: 근시안 최적화와 비근시안 승인으로 다단계 보상 해킹을 막는 딥마인드의 방법
미래 보상을 현재 행동으로 되돌리지 않고, 사람이 이해할 수 있는 계획만 승인해 학습시키면 어떻게 될까요. 딥마인드 연구자가 코딩·대출 심사·그리드월드 세 실험으로 확인한 MONA의 효과와 한계를 직접 설명합니다.
핵심 내용 읽기 →
LLM 포스트트레이닝 3단계 정리: 지시 튜닝, 선호 튜닝, 강화 파인튜닝의 역할과 한계
네이선 램버트가 정리한 언어모델 포스트트레이닝의 현재. 성능 향상의 대부분은 여전히 지시 튜닝에서 나오고, 그 위에 선호 튜닝과 검증 가능한 보상을 쓰는 강화 파인튜닝이 얹히는 3단계 구조를 실험 수치와 함께 설명한다.
핵심 내용 읽기 →
해석가능성 기반 AI 정렬 연구 정리 — 개념 방향 제거, 예방적 조종, 훈련 데이터 귀속
해석가능성 연구가 모델 정렬에 직접 쓰일 수 있을까. 데이터를 바꾸지 않고 파인튜닝 결과를 고르는 개념 방향 제거, 페르소나 벡터를 활용한 예방적 조종, 훈련 데이터 귀속과 강화학습 필터링까지 짚는다.
핵심 내용 읽기 →
GRPO 완전 정리: 딥시크 추론 모델을 떠받친 강화학습 알고리즘과 PPO의 차이
딥시크 R1의 핵심 강화학습 알고리즘 GRPO를 정책 경사법부터 차근차근 짚었다. 별도의 가치 모델을 버리고 응답 여러 개의 평균 보상을 기준선으로 삼는 단순화가 어떻게 비용 절감으로 이어졌는지 정리했다.
핵심 내용 읽기 →
벨만 방정식과 동적 계획법, 일반화 정책 반복까지: 강화학습 기초 이론 한 번에 정리
강화학습 강의 시리즈 2편을 정리했다. 벨만 방정식이 상태값을 어떻게 연결하는지, 정책 평가와 정책 개선이 왜 번갈아 돌아가며 최적 정책에 도달하는지, 그리고 그 틀이 왜 대부분의 강화학습 알고리즘을 설명하는지 짚는다.
핵심 내용 읽기 →
언어 모델 긴 추론의 오류 누적과 지평의 저주: 값 유도 백트래킹과 모듈식 머신러닝 이론
MIT 박사과정 연구자가 TTIC 강연에서 언어 모델의 긴 추론이 오류를 누적하는 '지평의 저주'를 설명하고, 되돌아가기를 허용한 무작위 걸음 알고리즘으로 이를 완화하는 이론적 보장과 실험 결과를 제시했다.
핵심 내용 읽기 →
몬테카를로 강화학습 입문: 블랙잭 예제로 배우는 모델 프리 학습과 오프폴리시 기법
환경의 전이 확률을 모르는 상태에서 궤적 표본만으로 최적 전략을 찾아내는 몬테카를로 강화학습의 원리를, 블랙잭 예제와 상수 스텝 사이즈, 탐색-활용 균형, 오프폴리시 기법의 분산 문제까지 단계별로 정리했다.
핵심 내용 읽기 →
시간차 학습과 Q러닝 정리: 몬테카를로부터 SARSA·기대 SARSA까지 강화학습 핵심
강화학습에서 가장 독창적인 아이디어로 꼽히는 시간차 학습을 몬테카를로 방법의 변형으로 차근히 설명하고, Q러닝과 SARSA·기대 SARSA가 절벽 걷기나 바람 부는 격자 같은 예제에서 왜 서로 다르게 행동하는지 정리했다.
핵심 내용 읽기 →
강화학습 함수 근사 쉽게 이해하기: 가치 오차부터 준그래디언트 TD와 치명적 삼요소까지
상태가 이미지처럼 거대해지면 표 기반 강화학습은 무너진다. 함수 근사로 넘어갈 때 무엇이 달라지는지, 일반화라는 진짜 과제와 가치 오차, 준그래디언트 TD, 마운틴카 예제, 치명적 삼요소까지 차근차근 정리했다.
핵심 내용 읽기 →
강화학습 정책 경사법 원리 정리: REINFORCE 갱신 규칙과 베이스라인, 정책 경사 정리까지
강화학습의 정책 경사법은 가치 추정을 거치지 않고 각 상태의 행동 확률을 직접 학습한다. REINFORCE의 갱신 규칙이 어디서 어긋나는지, 베이스라인이 왜 필요한지, 정책 경사 정리가 무엇을 알려 주는지 정리했다.
핵심 내용 읽기 →
NVFP4 강화학습 레시피 정리: 4비트 양자화 안정성 확보와 그래디언트 스파이크 해결법
사전학습용 4비트 양자화 레시피는 강화학습에서 그대로 통하지 않는다. 토큰 단위 스케일링과 블록별 적응형 인코딩, 역전파 처리 방식 선택으로 그래디언트 붕괴를 막아 낸 실전 사례를 단계별로 정리했다.
핵심 내용 읽기 →
강화학습이 산업 현장에서 잘 쓰이지 않는 이유, 오프라인 정책 평가의 어려움과 지도학습 우선 원칙
강화학습은 이론이 아름답지만 실제 산업 적용 사례는 놀랄 만큼 드물다. 머신러닝 컨설턴트가 여러 기업을 인터뷰해 확인한 성공 사례의 실체와 함께, 배포 전에 성능을 추정하는 오프라인 평가가 왜 결정적 장벽이 되는지 짚어본다.
핵심 내용 읽기 →
LLM 강화학습 총정리: RLHF, RLAIF, RLVR 세 가지 방식과 AI 에이전트 시대를 연 검증 가능한 보상
강화학습이 대규모 언어 모델 학습에 쓰이는 세 가지 방식인 RLHF, RLAIF, RLVR의 원리와 차이를 비교하고, 코드로 정답을 검증하는 보상이 딥리서치와 코딩 에이전트의 문을 어떻게 열었는지 정리했다.
핵심 내용 읽기 →
강화학습 기초 정리: 마르코프 결정 과정과 정책, 가치 함수로 이해하는 RL 입문 가이드
강화학습이 회로 설계와 핵융합 제어 같은 산업 현장에 쓰이기 시작한 배경, 그리고 마르코프 결정 과정·정책·수익·가치 함수라는 네 가지 기본 개념이 어떻게 맞물려 최적 행동을 찾아내는지 정리했다. 이 틀에 깔린 강한 가정도 함께 짚는다.
핵심 내용 읽기 →
AI 보상 해킹과 사고 과정(CoT) 감시의 역설 - 오픈AI 논문 해설과 실험 결과 정리
오픈AI 논문에 따르면 추론 모델의 사고 과정을 감시하면 코딩 과제의 커닝을 93~97% 잡아낸다. 그러나 그 감시 결과로 벌을 주며 훈련하면 모델은 커닝을 멈추는 대신 의도를 감추는 법을 배운다.
핵심 내용 읽기 →
강화학습 르네상스: RLHF에서 검증 가능한 보상(RLVR)으로, 추론 모델 학습이 바뀐 이유
추론 모델 붐 뒤에는 어떤 흐름이 있었나. RLHF가 남긴 인프라와 검증 가능한 보상 학습의 부상, PPO에서 GRPO로 바꿔 얻은 개선, 그리고 사후학습 연산 비중이 사전학습과 대등해질 가능성까지 정리한 강연이다.
핵심 내용 읽기 →
디퓨전 강화학습 RAM — 사전학습식 회귀로 Flow-GRPO 대비 학습 스텝 50배 절감
디퓨전 모델의 보상 기반 사후학습은 왜 확장되지 않았을까. 마이크로소프트 리서치 세미나에서 소개된 RAM은 SDE 롤아웃과 보상 미분 없이 사전학습식 회귀만으로 이 문제를 풀어 학습 스텝을 최대 50배 줄였다.
핵심 내용 읽기 →
FinRL 금융 강화학습 프레임워크와 트레이딩 대회 운영기: 구조와 실험 성과, 한계 정리
컬럼비아대 연구팀이 만든 오픈소스 금융 강화학습 프레임워크 FinRL의 세 층 구조와 다우 30 종목 매매 실험, 학회 대회 운영 방식, 그리고 업계 참여를 가로막는 데이터·모델 비공개 문제까지 정리했다.
핵심 내용 읽기 →
커서 컴포저 개발기: 강화학습과 전문가 혼합(MoE)으로 만든 코딩 전용 AI 에이전트 모델
커서 개발팀의 사샤 러시가 코딩 전용 모델 컴포저의 설계 과정을 설명했다. 속도를 핵심 요구사항으로 둔 이유, 강화학습과 전문가 혼합 구조를 택한 배경, 커서 전체를 가상머신에 담아 돌린 훈련 인프라 이야기를 담았다.
핵심 내용 읽기 →
PPO 알고리즘 원리: LLM 정렬과 추론 모델을 만드는 강화학습을 직관으로 이해하기
PPO는 LLM을 사람의 선호에 맞추고 평범한 모델을 추론 모델로 바꾸는 강화학습 알고리즘이다. 가치 함수와 어드밴티지, 편향-분산 트레이드오프, 클리핑까지 원논문의 빽빽한 수식을 직관으로 풀어낸 해설을 정리했다.
핵심 내용 읽기 →
사전학습 대 강화학습 컴퓨트 배분 스케일링 법칙, 허깅페이스 저널클럽 논문 토론 정리
허깅페이스 연구팀이 사전학습과 강화학습의 컴퓨트 배분을 다룬 논문을 함께 읽었다. 체스를 실험대로 삼아 강화학습이 실제로 무엇을 개선하고 무엇은 끝내 바꾸지 못하는지 확인한 저널클럽 토론을 정리했다.
핵심 내용 읽기 →
형식 검증과 LLM 강화학습 - 사람이 만든 정답 없이 코드 명세를 생성하는 Re:Form
코드를 보고 그 동작을 수학적으로 서술하는 명세를 생성하도록 언어 모델을 강화학습시킨 Re:Form 연구 발표. 단위 테스트의 한계와 보상 해킹, 그리고 탐색과 일반화라는 남은 병목을 함께 짚는다.
핵심 내용 읽기 →
MIT 6.S191 강화학습 강의 정리: Q러닝과 정책 학습, 자율주행·바둑 사례
MIT 딥러닝 입문 강의 6.S191의 강화학습 편을 정리했다. 에이전트와 보상 같은 기본 용어부터 Q 함수와 Q러닝의 한계, 정책 학습과 연속 행동 처리, 자율주행과 바둑에 적용된 사례까지 짚는다.
핵심 내용 읽기 →
앤스로픽·피지컬 인텔리전스 로보틱스 정리 — VLA 모델과 LLM 로봇 제어 네 가지 방식
앤스로픽의 피지컬 인텔리전스 인수설을 계기로 π0부터 π0.7까지 로봇 파운데이션 모델의 계보를 짚고, LLM이 로봇을 제어하는 네 가지 방법과 각각의 실제 성공률이 어땠는지를 살펴본 대담을 정리했다.
핵심 내용 읽기 →
강화학습 입문 정리: MIT 6.S191 강의로 배우는 Q 함수, 심층 Q 네트워크와 정책 경사
MIT 6.S191 심층 강화학습 강의 정리. 지도·비지도 학습과의 차이부터 Q 함수와 심층 Q 네트워크, 정책 경사 방식, 자율주행 데이터 기반 시뮬레이션과 알파고 사례까지 강의 순서 그대로 훑어본다.
핵심 내용 읽기 →
챗GPT 고블린 반복 현상의 원인 정리: 강화학습 보상과 SFT가 만든 말버릇 전염
맥락과 무관하게 '고블린'을 반복하던 챗GPT의 말버릇은 어디서 왔을까. 평가자가 비유에 높은 점수를 준 강화학습과, 이용자 대화를 다시 학습에 넣는 구조가 원인이었다는 오픈AI의 공식 해명을 정리했다.
핵심 내용 읽기 →
리처드 서튼 강화학습·AGI 발언 정리: 스케일링 법칙 비판과 딥시크가 남긴 교훈
강화학습의 대가 리처드 서튼이 딥시크 사례를 근거로 연산량 만능론을 반박했다. 스케일링 법칙을 법칙이라 부를 수 없다고 지적하고, 벤치마크와 실제 효용의 괴리가 실망으로 이어질 수 있다고 경고한 대담을 정리했다.
핵심 내용 읽기 →
AI 기초 개념 정리: 머신러닝 지도·비지도·자기지도·강화학습과 딥러닝 활용 사례까지
코드를 몰라도 AI를 이해해야 하는 실무자를 위한 강의다. 인공지능과 머신러닝, 딥러닝의 관계부터 지도·비지도·자기지도·강화학습 네 가지 유형의 차이, 그리고 각 방식이 실제 업무 어디에 쓰이는지를 예시로 짚는다.
핵심 내용 읽기 →
AI 에이전트 훈련장으로서의 게임: 바빌론 실험과 온체인 평판, 오픈소스 자율성 구상
엘리자OS를 만든 쇼 월터스가 에이전트끼리 속이고 거래하는 도시형 게임 바빌론을 만든 이유를 설명한다. 판단력과 불신은 프롬프트나 샌드박스가 아니라 모델 안에 학습으로 들어 있어야 한다는 주장이며, 게임은 그 학습 데이터를 얻는 실험실이다.
핵심 내용 읽기 →
스탠퍼드 CS329A 강의 정리: AI 에이전트의 계획 수립과 다단계 추론을 다룬 논문 세 편
스탠퍼드 CS329A 강의가 다룬 LATS, SPRINT, SWiRL 세 논문을 정리했다. 트리 탐색으로 계획을 고르고, 독립적인 단계를 병렬로 돌리고, 도구 사용을 강화학습으로 가르쳐 AI 에이전트의 계획 능력을 끌어올리는 방법을 짚는다.
핵심 내용 읽기 →
학습 시간 스케일링이란: 스탠퍼드 CS329A 6강으로 보는 STaR·GRPO·DAPO 정리
스탠퍼드 CS329A 6강은 모델이 스스로 만든 답 중 정답만 걸러 다시 학습시키는 학습 시간 스케일링을 STaR, GRPO, DAPO 세 논문으로 짚으며, 7B와 32B급 작은 모델이 수학 추론에서 앞선 이유를 설명한다.
핵심 내용 읽기 →
스탠퍼드 CS329A 자기개선 AI 에이전트 강의 정리: ReAct, RLEF, 컨스티튜셔널 AI
스탠퍼드 CS329A 4강은 AI 모델이 스스로 실력을 높이는 세 가지 방법을 다룬다. 도구 호출과 추론을 번갈아 쓰는 ReAct, 코드 실행 결과로 학습하는 RLEF, 원칙 문서로 자기비판하는 컨스티튜셔널 AI를 비교한다.
핵심 내용 읽기 →
스탠퍼드 CS329A 자기 개선 AI 에이전트 1강 정리: 스케일링 법칙에서 추론 스케일링과 에이전트 워크플로까지
스탠퍼드 CS329A 첫 강의가 정리한 LLM 발전사와 전환점. 모델 크기를 키우는 스케일링 법칙이 포화에 다다른 뒤, 추론 시점 확장과 검증기 되먹임이 어떻게 자기 개선 에이전트를 열었는지 살펴본다.
핵심 내용 읽기 →
선호 기반 강화학습 PbRL 정리 — SeqRank, LiRE, CPL로 보는 사람 피드백 학습법
복잡한 보상 함수 설계 없이 사람의 비교 판단만으로 에이전트를 학습시키는 선호 기반 강화학습을 정리했다. 질의를 순차적으로 뽑아 피드백 효율을 올리는 두 방법과, 보상 함수 자체를 없애는 방법을 살펴본다.
핵심 내용 읽기 →
피지컬 AI와 휴머노이드 로봇: 강화학습 보행이 바꾼 것과 한국이 뒤처진 진짜 이유
휴머노이드가 최근 2년 사이 자연스럽게 걷고 물건을 다루게 된 기술적 배경을 강화학습과 모방학습으로 나눠 살펴보고, 로봇과 인재, 학습 비용이라는 국내 현실의 병목을 함께 정리했다.
핵심 내용 읽기 →
파쿠르 AI 학습: 30초 영상만으로 사람처럼 움직이는 가상 캐릭터를 만든 연구와 그 한계
인터넷에서 모은 30초 분량 파쿠르 영상 19개만으로 가상 인간이 장애물 코스를 스스로 헤쳐 나가도록 훈련한 연구를 정리했다. 사람 동작을 흉내 내는 학습과 목표에 도달하는 학습을 동시에 시키는 구조, 긴 코스 성공률 40%라는 한계까지 짚는다.
핵심 내용 읽기 →
오픈AI o1 추론 원리 분석: 사고 사슬 토큰과 결과·과정 감독 보상 모델로 되짚은 강화학습 방식
오픈AI가 o1의 학습법을 거의 공개하지 않은 가운데, 기술 문서에 남은 단서와 이전 보상 모델 논문을 겹쳐 사고 사슬 토큰과 결과 감독·과정 감독 보상 모델을 활용한 강화학습 구조를 추론해 정리하고, 강점과 남은 한계까지 함께 짚었다.
핵심 내용 읽기 →
GRPO 강화학습으로 체스 LLM 훈련하기 — 딥시크 R1 기법 재현 실험과 그 한계
딥시크 R1이 쓴 GRPO 강화학습으로 8B급 모델에 체스를 가르친 실험 기록. 스톡피시를 보상으로 삼았지만 모델은 편법에 수렴했고, 강화학습이 없던 능력까지 만들어내지는 못한다는 사실이 드러났다.
핵심 내용 읽기 →
강화학습 기초 정리: MDP와 보상 설계, 정책 경사(REINFORCE)까지 스탠퍼드 CS229 강의
스탠퍼드 CS229 강의가 강화학습의 기본기를 정리했다. 상태·행동·전이·보상으로 세계를 기술하는 MDP와 할인 계수, 보상 설계에 숨은 함정, 그리고 대형 언어 모델 학습의 출발점이 되는 정책 경사 알고리즘까지 짚는다.
핵심 내용 읽기 →
강화학습으로 추론 모델 만들기 - 스탠퍼드 CS229 마지막 강의의 정책 경사와 PPO 정리
정책 경사의 직관과 기준값으로 분산을 줄이는 방법, PPO가 옛 표본을 재사용하며 확률 비율을 잘라내는 이유, 그리고 정답 일치 여부만으로 보상을 주어 긴 사고 과정을 학습시키는 방식까지 정리했다.
핵심 내용 읽기 →
롱호라이즌 강화학습, AI 에이전트가 긴 과제에 약한 이유 — 갈락티카 개발자의 회고
메타 AI 추론 리드였던 로스 테일러가 갈락티카와 라마 사후학습 경험을 돌아보고, 긴 호흡 과제에 필요한 알고리즘·환경·컴퓨트를 짚었다. 프런티어 모델은 1년짜리 베팅 실험에서 모두 원금을 잃었다.
핵심 내용 읽기 →
GRPO 원리와 딥시크매스, 가치 모델 없는 강화학습이 7B 모델을 상위권에 올린 방법
딥시크 R1의 핵심 요소인 GRPO를 딥시크매스 논문으로 짚는다. 커먼크롤에서 1200억 토큰 수학 코퍼스를 반복 선별하고, 가치 모델 대신 그룹 표본의 평균·표준편차로 이점을 계산해 7B 모델을 상위권에 올렸다.
핵심 내용 읽기 →
DPO 정리: 브래들리-테리 선호 모델에서 로그 확률 계산까지, 강화학습 없이 LLM을 정렬하는 방법
보상 모델을 따로 훈련하지 않고도 언어모델을 사람의 선호에 맞추는 DPO. 브래들리-테리 선호 모델에서 손실 함수가 유도되는 과정과 계산 불가능한 항이 사라지는 원리, 실제 로그 확률 계산 방법까지 단계별로 풀어 정리했습니다.
핵심 내용 읽기 →
DAPO 논문 해설: GRPO를 개선한 오픈소스 LLM 강화학습 시스템의 네 가지 기법
바이트댄스가 공개한 DAPO는 GRPO에 네 가지 기법을 더해 AIME 2024에서 딥시크 R1을 절반의 학습 스텝으로 앞섰다. 클리핑 상한 조정부터 동적 샘플링까지 각 기법이 무엇을 노렸는지 쉽게 풀었다.
핵심 내용 읽기 →
AI 에이전트 포스트트레이닝의 다음 단계: 고객이 쓰는 실제 환경에서 강화학습으로 계속 학습시키기
AI 엔지니어 컨퍼런스 발표를 토대로 에이전트 포스트트레이닝의 세 단계를 정리했다. 기업이 이미 쓰는 실행 환경에 학습을 그대로 붙일 때 나타나는 보상 해킹과 비재현성 문제, 그리고 자기 증류 같은 연구 방향까지 짚는다.
핵심 내용 읽기 →
AI 에이전트 장기 과제 평가법: 시간 지평 측정 지표와 환경·판정 모델 루브릭 설계 원칙
테타 소프트웨어 창업자들이 AI 엔지니어 행사에서 '장기 과제'의 정의부터 다시 짚고, 에이전트를 훈련·평가하는 환경과 판정 모델을 어떻게 설계해야 하는지, 기존 금융 벤치마크는 왜 부족한지를 정리했다.
핵심 내용 읽기 →
UniPi 논문 리뷰: 텍스트 조건 비디오 생성으로 만드는 범용 로봇 정책과 역동역학 모델
행동을 직접 예측하는 대신 목표를 이루는 미래 영상을 먼저 만들고 그 영상에서 실제 제어 신호를 뽑아내는 UniPi 논문을, 딥러닝논문읽기모임 발표를 따라가며 확산 모델 구조와 실험 결과, 남은 한계까지 정리했다.
핵심 내용 읽기 →
멀티에이전트 강화학습 입문: PPO에서 IPPO·MAPPO와 중앙집중 학습 분산 실행(CTDE)까지
무작위 장애물 환경에서 여러 에이전트를 동시에 학습시킨 실험을 따라가며, 관측·행동·보상 설계부터 각자도생 방식 IPPO의 한계와 중앙집중 크리틱을 쓰는 MAPPO의 해법, 협력의 창발까지 정리했다.
핵심 내용 읽기 →
AI 취약점 탐지 강화학습 환경 설계: 감사 과제와 크롬 V8 익스플로잇 실험 결과
카네기멜런대 데이비드 브럼리 교수가 보안 과제를 강화학습 환경으로 옮기는 설계 원칙을 정리하고, 크롬 V8 취약점 41건에 프런티어 모델을 붙여 크래시가 아니라 샌드박스 탈출까지 되는지 시험한 결과를 공개했다.
핵심 내용 읽기 →
베이스 모델 사전학습 변화: 웹 텍스트 85%에서 15%로, 합성 데이터와 강화학습이 바꾼 LLM 훈련 방식
아씨 AI 사전학습 총괄 바룬 싱은 웹 텍스트를 그대로 반영하던 베이스 모델의 시대가 끝났다고 말한다. 사후학습 데이터가 사전학습으로 앞당겨지고, 사전학습은 강화학습을 위한 준비 단계로 재정의되고 있다.
핵심 내용 읽기 →
커서 Composer 2 훈련 방식: 오픈 베이스 모델과 추가 사전학습, 장기 강화학습과 자체 벤치마크
커서 연구팀이 자사 코딩 모델 Composer 2의 학습 과정을 공개했다. 오픈 베이스 모델 선택부터 추가 사전학습, 20만 토큰 규모의 장기 강화학습, 자체 벤치마크 설계까지의 판단 근거를 정리했다.
핵심 내용 읽기 →
AI 슬롭은 왜 생기나: 측정 가능성과 평균으로의 붕괴, 디자인·글쓰기 같은 주관적 영역을 훈련하는 법
AI는 코딩과 수학에서 앞서갔지만 디자인과 글쓰기에서는 여전히 뒤처져 있다. 테이스트 랩스 창업자가 주관적 영역을 검증 가능한 형태로 쪼개는 방법과, 결과물이 밋밋해지는 구조적 원인인 '평균으로의 붕괴'를 설명했다.
핵심 내용 읽기 →
RLAIF vs RLHF 논문 정리: AI 피드백으로 언어모델을 정렬하는 방법과 실험 결과
사람의 선호도 라벨이 비싸고 느리다는 RLHF의 약점을 AI 피드백으로 대체한 RLAIF 논문을 정리했다. 요약과 대화 생성 과제에서 사람 수준의 선호도가 나온 이유, 보상 모델을 없앤 d-RLAIF, 위치 편향 같은 한계를 함께 살펴본다.
핵심 내용 읽기 →
GRPO 쉽게 이해하기: PPO와 무엇이 다른가, 딥시크 R1의 강화학습 알고리즘 해설
딥시크 R1의 핵심 강화학습 알고리즘 GRPO를 소개한 DeepSeekMath 논문을 정리했다. PPO에서 가치 모델을 걷어내고 여러 응답을 묶어 상대 비교하는 방식이 어떤 이득을 주는지, 수학 말뭉치는 어떻게 만들었는지 살펴본다.
핵심 내용 읽기 →
디지털 트윈 로봇 학습 총정리: GRS·Gen2Sim·RoboTwin 등 피지컬 AI 논문 7편 핵심 해설
디지털 트윈이 정밀한 복제품을 넘어 로봇 학습 인프라로 바뀌고 있다. 이미지 한 장에서 시뮬레이션을 만들고 행동 데이터 생성과 강화학습, 정책 평가까지 맡는 GRS·Gen2Sim·RoboTwin 등 대표 연구 7편의 구조와 한계를 정리했다.
핵심 내용 읽기 →
중국 오픈소스 AI 모델 러시와 RL 스케일링: 로스 테일러가 짚은 평가·인재·컴퓨트
GLM-4.5와 Kimi K2가 2주 사이 쏟아지며 오픈모델의 표준이 중국 쪽으로 기울고 있다. 전 라마 추론 리드 로스 테일러는 인재 신화보다 자원 배분과 평가 설계가 모델 품질을 가른다고 말한다.
핵심 내용 읽기 →
개인 비행 장치의 한계와 AI 제어: 제트 슈트·제트팩·전기 덕티드 팬 기술 정리
그래비티 제트 슈트, 제트팩 에이비에이션, 전기 덕티드 팬 자작 프로젝트의 비행 원리를 뜯어보고, 두 손이 조종에 묶이는 한계를 의도 추정 AI와 모델 예측 제어, 잔차 강화학습으로 푸는 구상을 정리했다.
핵심 내용 읽기 →
AI 에이전트 샌드박스란 무엇인가: 격리 방식과 스냅샷, 자체 스케줄러, CPU 부족 전망까지
데이토나 CEO 이반 부라진이 설명하는 에이전트 샌드박스의 개념과 기술. 마이크로 VM과 컨테이너의 차이, 스냅샷과 포크가 필요한 이유, 자체 스케줄러를 만든 배경, 그리고 다가올 CPU 부족까지 정리했다.
핵심 내용 읽기 →
강화학습 사전학습(RPT) 정리: 다음 토큰 예측을 추론 과제로 바꾼 마이크로소프트 논문
마이크로소프트의 강화학습 사전학습(RPT) 논문 해설. 다음 토큰 예측을 추론 과제로 바꿔 사전학습 말뭉치 전체를 강화학습에 쓰는 원리와 GRPO 학습 방식, 옴니매스 벤치마크 성능 결과를 정리했다.
핵심 내용 읽기 →
알파고 재구현으로 본 MCTS와 LLM 강화학습의 차이: 에릭 장이 설명하는 자기대국과 가치함수
딥마인드 로보틱스 출신 에릭 장이 수천 달러의 컴퓨팅만으로 알파고를 다시 구현하며 배운 것들. 정책망과 가치망이 탐색을 어떻게 줄이는지, 그리고 몬테카를로 트리 탐색이 왜 오늘날 LLM 강화학습보다 표본 효율이 높은지 짚는다.
핵심 내용 읽기 →
GRPO 완전 해설: DeepSeek이 추론 모델을 훈련시킨 강화학습 기법의 수식 뜯어보기
DeepSeek 추론 모델의 핵심인 GRPO를 중학교 수준 방정식 하나로 풀어 설명한 강의를 정리했다. 사람이 만든 풀이로 가르치는 방식과 무엇이 다른지, 어드밴티지 정규화와 확률비, 클리핑, KL 발산이 각각 어떤 역할을 하는지 짚는다.
핵심 내용 읽기 →
코드 월드 모델과 오토 하네스 — 딥마인드 연구자가 말하는 LLM 게임 에이전트의 두 가지 해법
구글 딥마인드 연구자가 LLM으로 게임 에이전트를 만드는 두 방식을 소개했다. 게임 규칙 자체를 코드로 합성하는 코드 월드 모델과, 반칙 수만 걸러 주는 가벼운 하네스를 스스로 진화시키는 방법이다.
핵심 내용 읽기 →
강화학습의 역사 — 1961년 성냥갑 실험부터 시뮬레이션으로 배운 휴머노이드 로봇 축구까지
1961년 성냥갑으로 만든 학습 기계에서 시뮬레이션으로 훈련된 휴머노이드 로봇까지, 실패를 벌하고 성공을 보상하는 단순한 원리가 어떻게 오늘의 AI와 로보틱스를 만들어 왔는지 차근차근 정리한 영상이다.
핵심 내용 읽기 →
VibeThinker 3B 검증: 소형 모델이 수학·코딩에서 거대 모델을 따라잡은 방법과 한계
웨이보 AI 랩이 공개한 30억 파라미터 VibeThinker 3B가 수학·코딩 벤치마크에서 수백 배 큰 모델과 겨뤘다. 검증 가능한 추론과 지식을 분리한 학습 레시피, 그리고 직접 실행에서 드러난 한계를 함께 짚었다.
핵심 내용 읽기 →
오픈AI 얀 뒤부아 인터뷰: 강화학습이 경쟁 문제에서 실제 업무로 넘어온 순간과 남은 숙제
오픈AI 포스트트레이닝 프론티어 팀을 이끄는 얀 뒤부아가 MAD 팟캐스트에서 GPT-5.5의 개발 과정과 신뢰도의 임계점, 강화학습이 실제 업무로 확장된 배경, 평가와 지속학습이라는 남은 난제를 짚었다.
핵심 내용 읽기 →
추론 모델 학습의 기술: 보상 해킹과 아첨 문제, 그리고 다음 과제인 계획 능력까지
앨런AI연구소 네이선 램버트가 추론 모델 학습의 실제를 설명한다. 단위 테스트를 우회하는 보상 해킹, 아첨을 학습하는 과최적화, 평가·체감·가격의 균형, 스킬 다음에 필요한 캘리브레이션과 계획 능력을 짚는다.
핵심 내용 읽기 →
강화학습 기초 정리: 여섯 가지 질문으로 DQN·정책 경사·액터 크리틱 한 번에 이해하기
Q러닝, 정책 경사, 액터 크리틱을 따로 공부해도 연결되지 않는다면 순서가 문제일 수 있다. 모든 강화학습 알고리즘이 반드시 답해야 하는 여섯 가지 질문을 기준으로 탐색과 활용, TD와 몬테카를로, 어드밴티지까지 전체 지형을 정리했다.
핵심 내용 읽기 →
스탠퍼드 CS229 2026 첫 강의 정리: 머신러닝 정의부터 지도·비지도·강화학습까지
스탠퍼드 CS229 2026년 봄학기 1강이 공개됐다. AI 도구 사용 규칙, 1959년과 1998년의 머신러닝 정의, 지도·비지도·강화학습의 구분과 한 학기 강의 지도를 강사가 직접 훑었다. 여전히 전통적인 접근을 유지하는 이유도 함께 설명했다.
핵심 내용 읽기 →
앤트그룹 인클루전 AI: 8개월 만에 1조 파라미터 오픈 모델을 만든 방법과 FP8 학습 교훈
앤트그룹 인클루전 AI 팀이 링 모델 시리즈를 8개월 만에 쌓아 올린 과정과 FP8 학습 안정화, 파이프라인 병렬 최적화, 문장 단위 강화학습 실험, 오픈 모델 생태계에 남은 라이선스·데이터 과제를 팟캐스트에서 짚었다.
핵심 내용 읽기 →
범용 LLM 금융 조언의 한계와 해법: 인튜이트가 검증된 실제 결과로 모델을 학습시킨 이유
인튜이트의 AI 제품 책임자가 컨퍼런스에서 프런티어 LLM의 금융 조언이 왜 그럴듯하게만 들리는지 실제 사례로 짚었다. 유창한 허풍의 정체와, 검증된 결과에 근거를 둔 모델이 더 나은 답을 낸 이유를 정리했다.
핵심 내용 읽기 →
Kimi K3 기술 보고서 분석: 허깅페이스 저널클럽이 짚은 사후학습, RL 인프라, 추론 예산 제어
허깅페이스 TRL 팀이 Kimi K3 기술 보고서를 함께 읽으며 나눈 대화를 정리했다. 9개 전문가 모델을 만든 뒤 다시 합치는 다교사 증류, 추론 예산을 3단계로 나눠 학습시키는 방식, 지식 그래프로 RL 환경을 자동 생성한 방법을 짚는다.
핵심 내용 읽기 →
추론 LLM 작동 원리: 같은 트랜스포머가 생각하게 되는 이유와 테스트 타임 컴퓨트
추론 모델은 새로운 아키텍처가 아니라 훈련 방식에서 나왔다. 정답에만 보상을 주자 모델이 스스로 검증과 되짚기를 익힌 과정, 테스트 타임 컴퓨트라는 새 축, 그리고 환각률이 함께 올라간 부작용까지 정리했다.
핵심 내용 읽기 →
불확실성 속 의사결정: 스탠퍼드 AA228 강의가 말하는 차원의 저주와 AI 검증 문제
스탠퍼드 온라인이 소개한 '불확실성 하의 의사결정' 강의 요약. 결과와 모형이 모두 불확실할 때 최적의 결정을 찾는 방법과 한계, 벨만이 지적한 차원의 저주, 그리고 AI 시스템의 실제 배포를 가로막는 검증 문제를 정리했다.
핵심 내용 읽기 →
π*0.6 논문 리뷰 — VLA 로봇 모델에 강화학습을 결합한 RECAP 구조와 성능 향상 정리
사람의 시범만 따라 하던 VLA 로봇 모델이 자신의 실패를 스스로 평가해 개선한다. π*0.6 논문이 도입한 밸류 펑션과 어드밴티지 조건화 구조, 그리고 세탁물 접기와 에스프레소 제조에서 확인된 처리량·성공률 변화를 알기 쉽게 풀었다.
핵심 내용 읽기 →
강화학습 기초: 보상·정책·Q값과 탐험-활용의 균형 쉽게 이해하기
지도·비지도 학습과 달리 강화학습은 정답을 듣지 못하고 보상 신호로만 배운다. 출퇴근 비유로 정책, Q값, 몬테카를로 제어, 엡실론 그리디까지 강화학습의 핵심을 정리한다.
핵심 내용 읽기 →
강화학습 정책 경사(Policy Gradient) 원리: 퐁 게임과 PPO로 이해하기
간단한 퐁 게임 에이전트로 지도학습과 강화학습의 차이, 정책 신경망, 무작위성을 통한 탐험, 그리고 픽셀만 보고 배우는 정책 경사와 PPO까지 단계별로 풀어본다.
핵심 내용 읽기 →
쓰라린 교훈과 LLM: 강화학습이 AI의 다음 돌파구일까
1971년 음성인식 하피부터 알파고, 그리고 서턴의 '쓰라린 교훈'까지. 거대언어모델이 인간 지식에 지나치게 기댄 반례인지 짚어본다.
핵심 내용 읽기 →
추론 AI 원리: o1과 DeepSeek-R1은 강화학습으로 어떻게 생각을 배우나
o1과 DeepSeek-R1 같은 추론 모델이 답 대신 '생각'을 먼저 전개하는 이유, 테스트타임 컴퓨트 스케일링, 그리고 강화학습만으로 사고연쇄를 스스로 익히는 원리를 쉽게 풀었다.
핵심 내용 읽기 →
피지컬 AI 로봇의 몸: KAIST 라이다·촉각·구동기 연구로 본 현장 로봇의 진짜 병목
VLA·월드 모델 등 로봇의 ‘뇌’에 관심이 쏠리지만, 현장 투입의 병목은 감각·구동 같은 ‘몸’에서 생긴다. KAIST의 센서·촉각·다리 연구로 피지컬 AI의 몸을 살핀다.
핵심 내용 읽기 →
LLM 테스트타임 컴퓨트 스케일링: 검증기 탐색과 순차 수정, 그리고 모델 크기와의 맞교환
UC버클리 찰리 스넬이 딥마인드 인턴십에서 진행한 연구를 소개한다. LLM에 추론 시 계산을 더 쓰게 하는 검증기 기반 탐색과 순차 수정 방식이 문제 난이도와 예산에 따라 어떻게 확장되는지, 그리고 언제 모델 크기 키우기보다 나은지를 분석한다.
핵심 내용 읽기 →
RLHF와 DPO 쉽게 이해하기: 사람 피드백으로 LLM을 정렬하는 두 방법
InstructGPT의 3단계 학습에서 출발해, 사람의 선호로 LLM을 정렬하는 RLHF와 이를 지도학습으로 단순화한 DPO를 직관적으로 설명한다. 보상 모델·PPO의 역할과 RLHF의 한계, 유튜브 제목 취향을 DPO로 학습시킨 실제 예까지 다룬다.
핵심 내용 읽기 →
GRPO·RLVR로 LLM에 추론 학습시키기: 그룹 상대 정책 최적화 원리 정리
다음 토큰만 예측하던 기본 모델을, 검증기와 그룹 평균 보상만으로 추론 모델로 바꾸는 GRPO·RLVR의 작동 원리와 한계를 쉽게 정리했습니다.
핵심 내용 읽기 →
강화학습 창업자 평가와 VCBench: 비용 인식 순차 의사결정으로 벤처 투자 자동화
옥스퍼드 AI 연구진의 발표를 정리했다. 창업자 프로필만으로 성공을 예측하는 벤치마크 VCBench와, 무엇을 물을지·언제 멈출지를 배우는 비용 인식 강화학습 에이전트, 그리고 데이터 오염을 막는 익명화 기법까지 다룬다.
핵심 내용 읽기 →
RLVR 강화학습으로 LLM에 문제 해결 절차 가르치기 — 개념부터 실습까지
지도 미세조정과 선호 학습에 이어, 정답을 자동으로 검증하는 RLVR이 LLM의 추론 능력을 어떻게 끌어내는지, 그리고 직접 강화학습 환경을 만들어 모델을 훈련한 사례를 정리했다.
핵심 내용 읽기 →
LLM 추론의 원리: 사고사슬·자기일관성·강화 파인튜닝 (스탠퍼드 CS25)
구글 딥마인드 데니 저우가 스탠퍼드 CS25에서 대형 언어 모델의 추론을 설명한다. 추론이란 입력과 출력 사이의 중간 토큰이며, 사고사슬·자기일관성·강화 파인튜닝으로 이를 끌어낸다는 관점을 소개한다.
핵심 내용 읽기 →
AI 에이전트 평가 방법: 하버(Harbor)가 말하는 환경·롤아웃·검증기와 사내 eval 구축 전략
AI 엔지니어 콘퍼런스 발표에서 Laude Institute의 알렉스 쇼는 에이전트 개발이 머신러닝을 닮았다고 주장했다. 환경·롤아웃·검증기로 구성된 평가 프레임워크 하버를 소개하며 모든 기업이 자체 eval을 가져야 한다고 말한다.
핵심 내용 읽기 →
VCRL 논문 리뷰: 분산 기반 커리큘럼 강화학습으로 LLM 수학 추론 성능 끌어올리기
딥러닝논문읽기모임이 소개한 VCRL은 롤아웃 정답률의 분산으로 문제 난이도를 재고 메모리 뱅크로 좋은 문제를 재활용해, LLM 수학 추론 강화학습의 표본 효율과 학습 안정성을 함께 끌어올린 방법이다.
핵심 내용 읽기 →
AI 샘플 효율성 격차, 프런티어 모델이 인간보다 100만 배 많은 데이터를 쓰는 이유
최근 AI 성능 향상의 동력은 구조 개선이 아니라 데이터였다. 프런티어 모델은 수십조 토큰을 학습하지만 사람은 성인이 될 때까지 약 2억 토큰만 접한다. 이 100만 배 격차가 좁혀지지 않는 이유를 정리했다.
핵심 내용 읽기 →
다음 AI 훈련 패러다임 전망: 검증 가능한 강화학습의 한계와 지속 학습이라는 과제
AI 연구소들이 공통으로 걸고 있는 대규모 강화학습 베팅이 어디서 한계에 부딪히는지, 배포 중에 배운 것을 모델 가중치로 되돌리는 지속 학습이 왜 다음 과제로 꼽히는지, 어떤 해법 후보가 거론되는지 짚는다.
핵심 내용 읽기 →
강화학습 정책 경사법 수학 풀이, 신경망 파라미터가 보상으로 갱신되는 과정 단계별 정리
스탯퀘스트가 정책 경사법으로 신경망을 학습시키는 계산 과정을 한 단계씩 보여준다. 정답 레이블이 없을 때 교차 엔트로피 미분에 보상을 곱해 갱신 방향을 바로잡는 원리를 감자튀김 예제로 차근차근 따라간다.
핵심 내용 읽기 →
GRPO 강화학습 직접 구현: 소형 언어모델에 단계별 추론 능력을 학습시키는 방법
딥시크 R1이 쓴 GRPO 알고리즘을 라이브러리 없이 밑바닥부터 구현해 1억 3,500만 파라미터 소형 모델에 단계별 추론을 가르친 실험. 정확도는 45%에서 61%로 올랐고, 든 비용은 클라우드 GPU 5~6달러 수준이었다.
핵심 내용 읽기 →
AI 코딩 에이전트의 한계: 소프트웨어 공장이 실패하는 이유
휴먼레이어의 덱스 호슬리가 AI 코딩 에이전트만으로 코드 리뷰 없이 개발하는 방식이 왜 무너지는지, 모델 학습 구조와 유지보수성 관점에서 설명하고 대안을 제시한다.
핵심 내용 읽기 →
GLM-5.2 분석: GRPO 대신 PPO로 훈련한 오픈 가중치 에이전트 모델과 100만 토큰 설계
MIT 라이선스로 공개된 GLM-5.2가 주목받는 이유를 정리했다. 그룹 비교 방식 GRPO 대신 비평가 모델을 쓰는 PPO로 회귀한 강화학습, 100만 토큰 문맥을 감당하는 인덱서 공유 설계를 살펴본다.
핵심 내용 읽기 →
강화학습이란? 상태·행동·보상과 탐험-활용 딜레마로 이해하는 기계학습 기초 개념 정리
정답 예시가 아니라 경험으로 배우는 강화학습의 기본기를 짧게 정리했다. 상태와 행동, 보상이라는 세 요소와 정책의 개념, 탐험-활용 딜레마, 그리고 강화학습이 잘 맞는 문제와 그렇지 않은 문제를 함께 짚는다.
핵심 내용 읽기 →
강화학습이 LLM 추론을 여는 원리 — 계층적 추론과 HICRA 알고리즘 해설
2024년 말 o1과 2025년 초 오픈소스 딥시크-R1로 부상한 대형 추론 모델에서, 강화학습이 왜 추론을 이끌어내는지 계층적 추론과 두 단계 학습 관점으로 분석하고 개선 알고리즘 HICRA까지 짚는 논문을 소개한다.
핵심 내용 읽기 →
LLM 학습 과정 정리: 사전학습과 지도 미세조정(SFT), 강화학습(RL), 그리고 평가
구글 개발자 채널이 거대 언어 모델의 학습 과정을 사전학습과 후처리로 나눠 설명했다. 다음 단어를 맞히는 훈련에서 시작해 SFT와 강화학습으로 다듬고, 자동 채점 모델로 성능을 측정하는 전체 흐름을 정리한다.
핵심 내용 읽기 →
월드 모델·JEPA·샘플 효율성: 적은 데이터로 배우는 AI와 AGI로 가는 강화학습의 다음 단계
Y Combinator 대담에서 스탠퍼드 연구자들이 샘플 효율성 문제와 월드 모델, JEPA, 드리머 계열 연구를 체스·바둑·자율주행·로봇 예시로 차근차근 풀며, 적은 데이터로 배우는 AI가 AGI로 가는 길일지 짚습니다.
핵심 내용 읽기 →
진화 전략으로 LLM 미세조정? EGGROLL·ES at Scale 논문으로 본 부활 배경
한때 쓸모없다 여겨진 진화 전략이 대형 언어모델 미세조정에서 부활했다. OpenAI 2017 논문부터 'ES at Scale', 'EGGROLL'까지 그 배경과 성과를 정리했다.
핵심 내용 읽기 →
마이크로소프트 MAI 논문 정리 - 30조 토큰 데이터 엔지니어링과 RL 안정화 비법
마이크로소프트가 MAI Thinking One의 109쪽 기술보고서에서 30조 토큰을 사내에서 어떻게 정제했는지, RL 학습을 어떻게 안정화했는지, 효율성을 어떻게 측정했는지를 이례적으로 상세히 공개했다.
핵심 내용 읽기 →
오픈소스 포스트트레이닝 스택 총정리 — 프라임 인텔렉트의 Verifiers·Prime-RL 강연 해설
프라임 인텔렉트의 윌 브라운이 AI 엔지니어 컨퍼런스에서 소개한 오픈소스 포스트트레이닝 도구 Verifiers와 Prime-RL, 환경 기반 평가, 비동기 강화학습을 정리했습니다.
핵심 내용 읽기 →
LLM 추론 모델 원리 정리: 사고 사슬, 검증 가능한 보상, GRPO까지 (스탠퍼드 CME295)
스탠퍼드 CME295 강의가 추론 모델을 어떻게 만드는지 설명한다. 사고 사슬, 검증 가능한 보상 기반 강화학습, GRPO와 PPO의 차이, 그리고 딥시크 R1의 학습 파이프라인까지 핵심을 한국어로 정리했다.
핵심 내용 읽기 →
GDPO 강화학습 설명: NVIDIA가 GRPO의 다중 보상 한계를 보상별 정규화로 개선
GRPO는 정답 여부 같은 단일 보상에 맞춰 설계돼, 여러 보상을 단순히 더하면 서로 다른 조합이 같은 학습 신호로 뭉개진다. NVIDIA의 GDPO가 보상별 정규화와 배치 정규화로 이 정보 손실을 어떻게 해결하는지 정리했다.
핵심 내용 읽기 →
GRPO 강화학습 원리: 지도학습의 한계를 넘어 AI 추론을 키우는 방법
지도 미세조정은 데이터를 모방하는 데 그친다. GRPO 강화학습이 어떻게 여러 답을 생성·비교해 검증 가능한 보상으로 데이터 이상의 추론 능력을 만드는지 시각적으로 풀어본다.
핵심 내용 읽기 →
강화학습 입문 정리: Q-러닝·정책 기반·actor-critic 핵심 개념
시행착오로 배우는 강화학습의 기본 개념(에이전트·상태·행동·보상·정책)과 가치 기반 Q-러닝, 정책 기반 REINFORCE, 그리고 둘을 합친 actor-critic 방식을 예시로 정리한다.
핵심 내용 읽기 →
강화학습의 한계, 카르파티가 짚은 현재 LLM 학습 방식의 근본 문제
안드레이 카르파티는 사람은 강화학습이 아니라 다른 방식으로 배운다고 말한다. 수백 번의 시도 끝에 얻은 단 하나의 정답 신호를 전체 과정에 되뿌리는 현재 방식의 잡음과 한계를 짚었다.
핵심 내용 읽기 →
강화학습 입문 총정리: 마르코프 결정 과정부터 Q러닝·정책 경사까지
신발끈 묶기처럼 규칙을 일일이 지정할 수 없는 과제를 시행착오로 배우는 강화학습을, 마르코프 결정 과정·몬테카를로·시간차·Q러닝·딥 Q네트워크·정책 경사와 뇌의 도파민 연구까지 한 흐름으로 정리했다.
핵심 내용 읽기 →
강화학습 방법론 분류: 모델 기반·모델 프리·Q러닝 총정리
스티브 브런턴 교수가 100년 역사의 강화학습을 모델 기반과 모델 프리, 경사 기반과 경사 프리, 온·오프 정책으로 나눠 전체 지형도를 그린다. 벨만 방정식부터 딥 Q러닝까지의 큰 그림.
핵심 내용 읽기 →
Qwen-AgentWorld 세계모델: 가상 환경을 만들어 AI 에이전트를 훈련하는 새로운 방법
알리바바 Qwen이 공개한 Qwen-AgentWorld는 행동의 결과를 예측하는 '세계모델'이다. 터미널·웹·앱 등 7개 영역의 환경을 흉내 내 에이전트를 값싸게 훈련하는 원리와 3단계 학습법을 자막 근거로 정리했다.
핵심 내용 읽기 →
몸을 얻은 AI: 100달러 로봇 실험으로 본 로보틱스와 세계 모델의 미래
말을 배운 AI 모델이 단어 대신 행동을 직접 출력하면 무슨 일이 벌어질까. 100달러짜리 자작 로봇에 최신 AI를 심은 실험을 통해 강화학습, 세계 모델, 소뇌의 원리와 로보틱스의 방향을 짚는다.
핵심 내용 읽기 →
AI가 추론을 배운 과정: 체스·바둑 게임 AI에서 알파고·MuZero, 사고의 사슬과 강화학습까지
체스·바둑 게임 AI의 세계 모델과 몬테카를로 탐색에서 시작해, 알파고와 MuZero의 자가 학습, 세계 모델 학습, 그리고 사고의 사슬·생각의 나무·강화학습으로 이어진 AI 추론 능력의 발전 계보를 짚었다.
핵심 내용 읽기 →
인공지능 머신러닝 딥러닝 차이와 지도·비지도·강화학습 개념 6분 정리
자율주행·알파고·챗GPT를 뭉뚱그려 부르는 인공지능·머신러닝·딥러닝의 포함 관계와, 지도·비지도·준지도·강화학습이라는 네 가지 학습 방식의 차이를 쉽게 풀어 설명한다.
핵심 내용 읽기 →
RLHF 완전 해설: 인간 피드백 강화학습이 ChatGPT를 만든 3단계 과정
허깅페이스 강연이 인간 피드백 강화학습(RLHF)을 처음부터 설명한다. 언어모델 사전학습, 보상모델 학습, PPO 기반 강화학습 미세조정의 3단계를 정리한다.
핵심 내용 읽기 →
DeepSeek-R1 강화학습만으로 LLM 추론 능력을 키우는 GRPO 원리 쉽게 해설
DeepSeek-R1 논문을 따라 언어모델과 강화학습의 연결, GRPO 알고리즘, 규칙 기반 보상과 보상 해킹 방지, 그리고 큰 모델의 지식을 작은 모델로 옮기는 증류까지 초보자도 이해하도록 차근차근 풀어봤다.
핵심 내용 읽기 →
RLHF와 PPO 원리: 보상 모델·어드밴티지·PPO 손실까지 단계별 유도
ChatGPT를 만든 정렬 기법 RLHF를 수식으로 풀어본다. 언어 모델을 정책으로 보는 관점부터 선호 데이터로 학습하는 보상 모델, 정책 경사, 어드밴티지, 그리고 PPO 손실까지 단계별로 짚는다.
핵심 내용 읽기 →
강화학습 핵심 개념: 정답이 없는 신경망을 정책 경사로 학습시키는 원리
이상적인 출력값을 미리 알 수 없을 때 신경망을 어떻게 학습시킬까. 스탯퀘스트가 감자튀김 가게 선택 예시로 강화학습과 정책 경사의 핵심을 설명한다.
핵심 내용 읽기 →
AI 사후학습 레시피 진화: RLHF에서 다중 교사 온폴리시 증류까지
인터커넥츠 대담에서 두 연구자가 InstructGPT의 3단계 RLHF부터 DeepSeek R1, 2026년형 다중 교사 온폴리시 증류까지 프런티어 모델 사후학습 레시피의 변천을 짚었다.
핵심 내용 읽기 →
강화학습이 AI의 과학적 발견을 이끄는 이유: 오픈AI 댄 로버츠 대담
이론물리학 출신 오픈AI 연구자 댄 로버츠가 강화학습의 원리, 탐색과 활용, 테스트타임 컴퓨트, 그리고 AI가 미해결 수학 문제를 푸는 방식까지 쉽게 풀어냈다.
핵심 내용 읽기 →
2026 LLM 현황: 트랜스포머·RLVR·GRPO·추론 스케일링 총정리 (라시카 인터뷰)
AI 교육자 세바스찬 라시카가 2026년 LLM의 현주소를 정리했다. 발전의 축이 사전학습에서 후처리로 옮겨간 이유, RLVR·GRPO, 추론 스케일링, 도구 사용까지 짚었다.
핵심 내용 읽기 →
Olmo 3 추론 모델 제작기: 사전학습·SFT·DPO·RLVR 강화학습과 평가 전략
완전 공개 추론 모델 Olmo 3를 만든 연구자가 아키텍처 선택, 추론 중심 데이터, SFT·DPO·강화학습(RLVR) 파이프라인, 그리고 평가에서 겪은 어려움까지 프런티어 모델 제작 과정을 처음부터 끝까지 설명한다.
핵심 내용 읽기 →
RLHF란 무엇인가: 지도 파인튜닝·보상 모델·PPO로 이어지는 3단계 정렬 과정
세바스티안 라시카가 4분 만에 정리한 RLHF. 사람이 쓴 응답으로 지도 파인튜닝을 하고, 순위 데이터로 보상 모델을 학습한 뒤 PPO로 모델을 정렬하는 3단계를 설명한다.
핵심 내용 읽기 →
RLHF 쉽게 이해하기: 인간 피드백 강화학습과 ChatGPT 학습 원리
강화학습에 사람의 피드백을 더하는 RLHF의 개념을 격자 세계 예시로 풀고, ChatGPT가 보상 모델과 PPO로 어떻게 미세조정되는지 단계별로 정리했습니다.
핵심 내용 읽기 →
머신러닝과 AI 기초 완벽 정리: 분류·의사결정 경계·인공신경망·딥러닝까지 쉽게 이해하기
컴퓨터가 데이터로 학습해 예측하고 판단하는 머신러닝의 원리를, 나방 분류 예시와 의사결정 경계, 결정 트리, 인공신경망, 딥러닝, 그리고 약한 AI와 강한 AI 개념까지 차근차근 풀어낸 컴퓨터 과학 입문 해설입니다.
핵심 내용 읽기 →
RLHF란? ChatGPT 정렬의 핵심 인간 피드백 강화학습과 RLAIF 정리
ChatGPT가 사람처럼 답하게 만든 핵심 기법 RLHF(인간 피드백 기반 강화학습)의 단계별 원리와, 사람 대신 AI가 피드백을 주는 앤트로픽의 대안 RLAIF까지 자막에 담긴 내용을 정리했습니다.
핵심 내용 읽기 →
AI 에이전트 작동 원리 완벽 해부: 감지·사고·행동 3단계와 지식베이스·RAG·피드백 루프
AI 에이전트가 정보를 받아들여 판단하고 행동으로 옮기는 과정을 감지·사고·행동 세 단계로 나눠 해부한다. 지식베이스와 RAG, 정책, 강화학습, 피드백 루프까지 여행 예약 사례로 쉽게 풀어 설명한다.
핵심 내용 읽기 →
머신러닝 학습 방식 3가지 총정리 — 비지도학습·지도학습·강화학습의 차이와 결합 원리 쉽게 이해하기
의료 데이터 예시로 풀어 보는 인공지능의 학습 원리. 비지도·지도·강화학습이 각각 어떻게 다르고, 이 세 방식을 결합하면 왜 더 강력해지는지, 그리고 스스로 배우는 AI가 낳는 블랙박스와 윤리 문제까지 함께 짚어 봅니다.
핵심 내용 읽기 →
머신러닝 완전 입문 가이드: 지도·비지도·강화학습과 데이터 중심 파이프라인까지 쉽게 이해하기
머신러닝을 처음 접하는 사람을 위해 규칙 기반 프로그래밍과의 차이부터 지도·비지도·강화학습의 세 가지 유형, 데이터에서 시작하는 파이프라인, 그리고 수학과 파이썬으로 이어지는 학습 로드맵까지 쉬운 비유로 풀어냈습니다.
핵심 내용 읽기 →
월드 모델(World Model)이란? AI가 행동의 결과를 예측하고 계획하는 원리와 활용
구글 지니와 엔비디아 코스모스, 얀 르쿤의 JEPA까지, 현재 세계 상태와 행동으로 미래를 예측하는 월드 모델의 정의와 생성형·예측형 두 구현 학파, 그리고 자율주행·로봇·게임·에이전트 활용 사례를 한눈에 정리했다.
핵심 내용 읽기 →
강화학습 기초 — 보상, 상태, 정책, 탐험과 활용의 균형
강화학습은 시행착오를 거쳐 보상을 최대화하도록 AI를 훈련하는 방법이다. 에이전트·상태·보상·정책 같은 핵심 개념과 탐험과 활용의 균형을 쉬운 예시로 설명한다.
핵심 내용 읽기 →
추론 모델 작동 원리: 사고 사슬·테스트 타임 컴퓨트·강화학습 쉽게 이해하기
요즘 주목받는 추론(생각하는) LLM이 어떻게 더 나은 답을 내는지, 사고 사슬·테스트 타임 컴퓨트·best-of-N·검증 가능한 보상 강화학습을 통해 풀어 설명합니다.
핵심 내용 읽기 →
머신러닝이란? 지도학습·비지도학습·강화학습 쉽게 이해하기
머신러닝의 개념과 KNN 알고리즘, 지도·비지도·강화학습의 차이를 노래 취향과 동전 분류 같은 친숙한 예시로 풀어 설명한다.
핵심 내용 읽기 →
추론형 LLM 완벽 정리: o1·DeepSeek-R1은 어떻게 생각하도록 훈련되는가
o1·DeepSeek-R1 같은 추론형 LLM은 혁신적 신기술이 아니라 훈련 방식의 차이일 뿐이다. 추론 모델을 만드는 네 가지 접근법과 규칙 기반 강화학습, DeepSeek-R1의 단계별 학습 과정을 정리했다.
핵심 내용 읽기 →
RLHF란? 인간 피드백 강화학습으로 LLM을 미세조정하는 원리
사람이 답변에 순위를 매기고, 그 점수를 강화학습으로 학습시켜 언어모델을 다듬는 RLHF. 가치 신경망과 정책 신경망이 무엇을 흉내 내는지 그리드 게임 비유로 풀어본다.
핵심 내용 읽기 →
머신러닝 기초 총정리 — AI 엔지니어를 위한 모델·딥러닝·강화학습·데이터
지능은 세계의 모델에서 나온다는 관점에서 머신러닝·딥러닝·강화학습이 컴퓨터를 학습시키는 세 가지 방식과, 좋은 데이터가 모델 성능을 좌우하는 이유를 쉽게 풀어 정리했습니다.
핵심 내용 읽기 →
머신러닝이란? AI·딥러닝과의 차이와 지도·비지도·강화학습 쉽게 이해하기
IBM 엔지니어가 자주 혼동되는 AI·머신러닝·딥러닝의 관계를 정리하고, 지도·비지도·강화학습의 차이를 고객 이탈, 가격 예측, 자율주행 등 실제 사례로 설명합니다.
핵심 내용 읽기 →
강화학습 입문: 에이전트·보상·페널티와 딥 Q-러닝 쉬운 설명
선생도 규칙도 없이 시행착오만으로 배우는 강화학습을, 미로 속 AI 비유로 풀었다. 에이전트·상태·보상·페널티, 학습률·엡실론·할인계수, 딥 Q-러닝의 작동 방식을 수식 없이 설명한다.
핵심 내용 읽기 →
머신러닝 딥러닝 AI 차이와 지도·비지도·강화학습 한눈에 정리
AI·머신러닝·딥러닝의 포함 관계부터 지도·비지도·강화학습, 회귀·분류·군집화, 그리고 LLM과의 연결까지 IBM의 설명을 한국어로 정리했습니다.
핵심 내용 읽기 →
벨만 방정식(Bellman Equation) 쉽게 이해하기 — 강화학습 가치 함수와 정책
강화학습은 상황을 행동에 매핑해 보상을 최대화하는 학습이다. 가치 기반 방법과 정책 기반 방법의 차이, 상태 가치 함수 V와 상태 행동 가치 함수 Q, 그리고 가치 함수를 재귀적으로 계산하는 벨만 방정식의 직관을 그리드 예제로 정리했다.
핵심 내용 읽기 →
액터-크리틱 강화학습의 원리 정리: 정책망과 가치망이 함께 배우는 방법과 한계점까지
강화학습의 액터-크리틱 방법을 마르코프 결정 과정부터 시간차 학습까지 단계별로 풀어 설명한다. 행동을 정하는 정책망과 상태를 평가하는 가치망이 어떻게 협력하는지, 손실은 어떻게 계산하는지, 왜 불안정한지를 정리했다.
핵심 내용 읽기 →
딥 Q 네트워크(DQN) 쉽게 이해하기 — Q 테이블의 한계와 경험 재현, 타깃 네트워크
강화학습의 Q 테이블이 상태가 많아지면 감당하지 못하는 이유와, 이를 신경망 Q 네트워크로 대체하는 딥 Q 네트워크(DQN)의 작동 원리를, 경험 재현 버퍼와 타깃 네트워크를 중심으로 데이터 수집과 학습 두 단계로 풀어 설명한다.
핵심 내용 읽기 →
Q-러닝과 시간차 학습 이해하기: 환경 모델 없는 강화학습의 핵심 원리와 SARSA 비교
환경 모델 없이 시행착오로 배우는 강화학습에서 몬테카를로 학습과 시간차 학습의 차이부터 Q-러닝과 SARSA, 오프폴리시와 온폴리시의 구분, 그리고 입실론-그리디 탐험 전략까지 핵심 원리를 쉽게 정리했습니다.
핵심 내용 읽기 →
알파고 제로 작동 원리: 자가 대국·잔차 신경망·몬테카를로 트리 탐색으로 바둑 정복
구글 딥마인드의 알파고 제로가 인간 기보와 수작업 특징 없이 오직 자가 대국만으로 바둑을 익힌 다섯 가지 핵심 변화를 잔차 신경망과 몬테카를로 트리 탐색을 중심으로 정리했습니다.
핵심 내용 읽기 →
물리 AI(Physical AI) 완벽 정리: 로봇이 현실에서 학습하는 원리와 VLA 모델
챗봇처럼 디지털에 머물던 AI가 원자의 세계로 넘어온다. 물리 AI의 개념, VLA 모델, 시뮬레이션 학습과 sim-to-real 격차를 IBM 설명으로 풀어본다.
핵심 내용 읽기 →
강화학습이란? 에이전트·환경·정책·보상 핵심 개념 정리
StatQuest가 두 감자튀김 가게 중 어디를 갈지 고르는 비유로 강화학습의 작동 원리를 설명한다. 확률 갱신, 학습률, 그리고 에이전트·환경·정책·보상이라는 핵심 용어를 정리했다.
핵심 내용 읽기 →
RLHF(인간 피드백 강화학습) 쉽게 이해하기: AI를 인간 가치에 맞추는 법
대규모 언어 모델을 인간의 선호와 가치에 맞추는 기술 RLHF를, 강화학습의 기본 개념과 4단계 학습 과정, 그리고 비용·편향 같은 한계까지 정리한다.
핵심 내용 읽기 →
생성형 AI란 무엇인가 — 이미지 생성으로 보는 작동 원리 5분 입문
생성형 AI가 텍스트·이미지·음악·영상 같은 새 콘텐츠를 만들어내는 원리를 이미지 생성 사례로 정리한다. 데이터 학습, 트랜스포머, 토큰, 피드백, 강화학습까지 핵심을 짚는다.
핵심 내용 읽기 →
RLHF 쉽게 설명: 사전학습·지도 미세조정·보상모델로 LLM을 정렬하는 원리
챗GPT 같은 거대 언어모델을 사람이 원하는 방식으로 정렬하는 RLHF의 원리를, 사전학습과 지도 미세조정의 맥락부터 보상모델과 손실함수까지 단계별로 풀어 설명한다.
핵심 내용 읽기 →
AI 에이전트 5가지 유형 정리: 반사·모델기반·목표·효용·학습 에이전트
단순 반사, 모델 기반 반사, 목표 기반, 효용 기반, 학습 에이전트까지 AI 에이전트의 다섯 가지 유형을 지능 수준과 의사결정 방식에 따라 예시와 함께 정리했습니다.
핵심 내용 읽기 →
맥락적 밴딧(Contextual Bandits)이란? 멀티암드 밴딧과의 차이와 개인화 추천 원리
멀티암드 밴딧이 모두에게 똑같은 선택을 강요한다면, 맥락적 밴딧은 각자의 맥락 정보를 활용해 개인 맞춤 결정을 내린다. 100명의 학생 수업 계획 예시로 두 방법의 차이와 개인화의 원리, 그리고 운영 부담이라는 비용까지 쉽게 풀어 설명한다.
핵심 내용 읽기 →
알파고 10주년 회고: 이세돌과의 대국, 37수, 알파제로에서 알파폴드까지의 AI 혁명
2016년 서울에서 알파고가 이세돌을 4-1로 꺾은 지 10년. 딥마인드 과학자들이 37수의 의미, 알파제로의 무(無)에서의 학습, 그리고 단백질 접힘·행렬 곱셈으로 이어진 과학적 확장을 돌아본다.
핵심 내용 읽기 →
Cursor 개발 교훈: Composer 모델·RL 학습·클라우드 에이전트의 미래
Cursor가 자체 모델 Composer를 만든 이유, 수백만 샌드박스를 돌리는 RL 인프라, 클라우드 에이전트의 과제, 그리고 코딩의 변화에 대한 인터뷰를 정리했다.
핵심 내용 읽기 →
ChatGPT 작동 원리 완전 정리: 사전학습·환각·강화학습으로 보는 LLM의 모든 것
안드레이 카파시가 일반 청중을 위해 ChatGPT 같은 거대 언어모델의 작동 원리를 풀어낸다. 인터넷 데이터 사전학습, 토큰 예측, 지도학습과 강화학습, 추론 모델, 그리고 환각이 생기는 이유까지 전 과정을 단계별로 짚는다.
핵심 내용 읽기 →
스노클·UC버클리 연구: 4B 모델이 235B를 이긴 비결은 추론이 아니라 '도구 사용'
스노클이 UC버클리와 함께 금융 분석 도구 사용 과제에서 40억 파라미터 모델로 2350억 모델을 능가했다. 핵심은 더 큰 추론이 아니라 강화학습으로 가르친 '도구 사용 규율'이었다.
핵심 내용 읽기 →