VLA 로봇 파운데이션 모델 일반화 한계: 파인튜닝 후 암기 현상과 스탠퍼드 연구실의 해법
스탠퍼드 맥 슈웨거 교수가 UC 버클리 세미나에서 π0 같은 VLA 로봇 모델이 파인튜닝 후 언어 지시를 무시하고 학습된 동작을 그대로 반복하는 암기 현상을 짚고, 추가 데이터 없이 일반화를 되살린 방법을 발표했다.
핵심 내용 읽기 →
AI TOPIC
일반화 최신 뉴스와 핵심 해설
일반화 관련 핵심 뉴스와 활용 인사이트 10편을 최신순으로 모았습니다.
확산 모델 일반화 원리: MIT 강의로 보는 암기와 창작의 경계, 저작권 소송과 귀납 편향
확산 모델의 이론상 최적해는 훈련 데이터를 그대로 되뱉는다. 그런데 실제 모델은 새 이미지를 만들어낸다. MIT 강의가 정리한 일반화의 역설과 저작권 쟁점, 야코비안 희소성·매끄러움·패치 짜깁기 이론을 살펴본다.
핵심 내용 읽기 →
심층신경망 뇌 반응 예측 모델의 분포 밖 일반화 실패와 MacaqueITBench 데이터셋 공개
심층신경망으로 시각 피질 반응을 예측하는 모델이 훈련 분포를 조금만 벗어나도 무너진다는 하버드 연구팀의 분석과, 다른 연구자들이 이를 다시 검증할 수 있도록 공개된 대규모 원숭이 신경 데이터셋을 정리했다.
핵심 내용 읽기 →
실내 훈련 효과 연구 정리: 강화학습 에이전트는 왜 노이즈 없는 환경에서 배울 때 더 잘 일반화되나
MIT와 하버드 연구진이 강화학습 에이전트를 잡음 없는 환경에서 훈련하면 잡음 있는 환경에서 오히려 더 잘한다는 실험 결과를 내놨다. 알고리즘은 그대로 두고 학습 환경만 바꿔 성능을 끌어올린 사례다.
핵심 내용 읽기 →
MIT 딥러닝 강의 1강 정리 — 퍼셉트론부터 알렉스넷까지, 신경망 부침의 역사와 오늘의 쟁점
MIT 오픈코스웨어가 공개한 대학원 딥러닝 강의 첫 시간을 정리했다. 퍼셉트론과 역전파, 알렉스넷으로 이어진 신경망의 부침과 함께 이중 하강, 깊이와 너비의 선택, 규모 편중 같은 오늘의 쟁점을 짚는다.
핵심 내용 읽기 →
로봇 파운데이션 모델 π0.7이 보여준 일반화 — 피지컬 인텔리전스 콴 브엉 ETH 취리히 강연
피지컬 인텔리전스 공동창업 멤버가 ETH 취리히 초청 강연에서 로봇 모델 π0.7을 설명했다. 하나의 체크포인트로 빨래 개기·나사 조이기·포장을 모두 해낸 과정, 저품질 데이터를 메타데이터로 살려 낸 방법, 로봇을 바꿔도 작업이 옮겨 간 사례와 남은 과제를 정리했다.
핵심 내용 읽기 →
로봇 학습의 미해결 과제 총정리: 일반화·촉각·강화학습·평생학습, ETH 취리히 강의 요약
소셜미디어에서는 매주 로봇공학이 해결됐다는 선언이 나오지만 실험실 밖에서는 여전히 무너진다. ETH 취리히 로봇 학습 강좌 마지막 회차가 짚은 일반화·촉각·강화학습·평생학습의 미해결 과제와 연구 방법론을 정리했다.
핵심 내용 읽기 →
AI 정렬의 한계: 사전학습·사후학습·배포 3단계와 일반화가 불러오는 오정렬 위험
호주 AI 안전 포럼 강연에서 연구자가 현행 정렬 기법의 구조를 해부했다. 세 단계 학습이 모두 데이터로부터의 일반화에 기대고 있어, 모델이 무엇을 배웠는지 사후에 확인할 방법이 없다는 점이 핵심 문제로 지목됐다.
핵심 내용 읽기 →
거대 언어모델이 더 똑똑해지는 원리: 과적합과 이중 하강, 로또 티켓 가설로 풀어보는 '규모의 법칙'
통계학습이론은 큰 모델일수록 과적합으로 성능이 나빠진다고 예측했지만 실제 대규모 언어모델은 정반대였다. 이중 하강과 로또 티켓 가설을 통해 신경망을 키울수록 오히려 더 잘 일반화하는 원리를 쉽게 풀어본다.
핵심 내용 읽기 →
그로킹(Grokking)이란? 신경망이 암기를 끝낸 뒤 뒤늦게 일반화하는 현상 정리
학습 손실이 0이 된 뒤에도 한참 더 훈련하면 테스트 정확도가 갑자기 치솟는 그로킹 현상을 정리했다. 암기에서 이해로의 상전이, 그리고 가중치 감쇠·회로 형성·SGD 편향이라는 세 가지 동인을 살펴본다.
핵심 내용 읽기 →