표 데이터 파운데이션 모델 TabPFN 분석 - 합성 데이터 사전학습과 파인튜닝이 성능을 가르는 이유
얀덱스 리서치 연구자가 표 형식 데이터용 파운데이션 모델을 직접 평가한 결과를 공유한다. 인과 그래프로 합성 데이터를 만드는 사전학습 원리, 파인튜닝이 만든 성능 역전, 실무형 벤치마크에서 드러난 한계를 함께 짚는다.
핵심 내용 읽기 →
AI TOPIC
파운데이션 모델 최신 뉴스와 핵심 해설
파운데이션 모델 관련 핵심 뉴스와 활용 인사이트 47편을 최신순으로 모았습니다.
휴머노이드 로봇 학습의 데이터 피라미드: 실제 로봇·시뮬레이션·영상 생성 모델을 섞는 코트레이닝
엔비디아 GEAR 랩과 UT오스틴 연구실을 함께 이끄는 유커 주 교수가 CMU 세미나에서 휴머노이드를 데이터 문제로 규정하고, 실제 로봇 데이터의 한계와 시뮬레이션·영상 생성 모델로 학습 데이터를 불리는 코트레이닝 전략을 설명했다.
핵심 내용 읽기 →
휴머노이드 로봇 파운데이션 모델 Ψ0: 1인칭 영상 사전학습으로 이동과 조작을 통합한 스탠퍼드 세미나 정리
스탠퍼드 로보틱스 세미나에서 소개된 Ψ0는 사람이 머리에 쓴 카메라로 모은 1인칭 영상으로 사전학습해, 40여 개 관절을 가진 휴머노이드가 걸으면서 물건을 다루게 만든 로봇 모델이다. 데이터 수집과 실시간 제어 설계를 정리했다.
핵심 내용 읽기 →
휴머노이드 행동 파운데이션 모델이란: 엔비디아 기어랩 연구원이 설명한 BFM-0와 소닉의 차이
엔비디아 기어랩 연구원이 UC버클리 세미나에서 휴머노이드 제어용 행동 파운데이션 모델 두 가지를 비교했다. 보상 함수를 그대로 넣는 제로샷 프롬프팅과 700시간 모션 캡처를 밀어붙인 규모 확장이 각각 어디까지 왔는지 짚는다.
핵심 내용 읽기 →
VLA 로봇 파운데이션 모델 일반화 한계: 파인튜닝 후 암기 현상과 스탠퍼드 연구실의 해법
스탠퍼드 맥 슈웨거 교수가 UC 버클리 세미나에서 π0 같은 VLA 로봇 모델이 파인튜닝 후 언어 지시를 무시하고 학습된 동작을 그대로 반복하는 암기 현상을 짚고, 추가 데이터 없이 일반화를 되살린 방법을 발표했다.
핵심 내용 읽기 →
로봇 파운데이션 모델 원리: 세르게이 레빈이 설명한 VLA와 사전학습·강화학습 후처리
UC버클리 세르게이 레빈 교수가 시각·언어·행동 모델의 구조와 33개 연구실 데이터를 합친 사전학습, 사람이 중간 단계를 코칭하는 사고 사슬, 강화학습 후처리로 로봇 성능을 두 배 끌어올린 과정을 세미나에서 정리했다.
핵심 내용 읽기 →
신경 데이터 통합 파운데이션 모델: 종과 과제를 넘는 전이와 뇌-기계 인터페이스 응용
실험실마다 다른 방식으로 기록된 뇌 활동을 하나의 모델로 묶으면 무엇이 달라질까. 스파이크 하나를 토큰으로 삼는 구조와, 원숭이 데이터로 학습해 사람에게 옮긴 전이 결과를 펜실베이니아대 세미나에서 정리했다.
핵심 내용 읽기 →
로봇 학습과 사람 1인칭 영상 데이터, 2만 시간 사전학습이 보여준 확장 곡선과 남은 과제
스탠퍼드 로보틱스 세미나 강연을 정리했다. 원격조종이 왜 좁고 손실이 큰 통로인지 짚고, 안경형 기기로 모은 사람 1인칭 데이터로 로봇을 학습시킨 실험과 2만 시간 사전학습에서 나타난 확장 곡선, 그리고 아직 남은 과제까지 담았다.
핵심 내용 읽기 →
로봇 파운데이션 모델 총정리: LLM·VLM이 바꾸는 로봇 정책 학습과 태스크 플래닝
GPT 같은 거대 모델을 로봇에 접목하는 연구를 정리한 서베이 논문 해설. 언어 기반 모방 학습부터 가치 학습, 태스크 플래닝, RT 시리즈, 오픈 보캐블러리 내비게이션까지 로봇 AI의 현재 지형을 짚는다.
핵심 내용 읽기 →
로봇 파운데이션 모델과 시뮬레이션 학습: 디터 폭스 ETH 취리히 초청 강연 핵심 정리
워싱턴대·Ai2의 디터 폭스가 ETH 취리히 강연에서 로봇 학습의 병목은 모델이 아니라 데이터라고 짚었다. 시연으로 배운 로봇의 한계와, 시뮬레이션으로 조작 능력을 넓히는 '파운데이션 월드' 구상을 정리했다.
핵심 내용 읽기 →
OpenVLA 완전 정리: 로봇 행동을 토큰으로 바꾼 오픈소스 비전-언어-행동 모델의 구조와 성능
허깅페이스 르로봇 세미나에서 공개된 오픈소스 비전-언어-행동 모델 OpenVLA를 정리했다. 행동을 토큰으로 바꾼 설계, 기존 모델과의 성능 비교, LoRA 미세조정과 4비트 양자화, 그리고 남은 한계까지 차례로 짚는다.
핵심 내용 읽기 →
범용 로봇의 현주소: 강화학습으로 처리량 2배, 다중 시간 척도 메모리로 15분 주방 청소까지
피지컬 인텔리전스 공동창업자 첼시 핀이 로봇을 실제로 쓸모 있게 만드는 조건으로 장시간 자율성과 시간 척도를 나눈 메모리, 하나의 범용 모델을 제시하고 13시간 연속 라떼 제작과 처리량 2배 개선 사례를 공개했다.
핵심 내용 읽기 →
GR00T N1 논문 정리: 시각·언어·행동을 하나로 묶은 휴머노이드 로봇 파운데이션 모델의 구조
딥러닝 논문읽기 모임이 다룬 엔비디아 GR00T N1을 정리했다. 느린 추론과 빠른 행동 생성을 나눈 듀얼 시스템 구조, 웹·합성·실제 로봇 데이터를 쌓은 데이터 피라미드, 그리고 제로샷 성공률과 남은 한계를 짚는다.
핵심 내용 읽기 →
로봇 학습 10년의 세 시대: 팔 농장 실험부터 파운데이션 모델과 스케일 경쟁까지
구글 딥마인드에서 로봇 학습을 이끌던 테드 샤오가 취리히 공대 초청 강의에서 지난 10년을 세 시대로 나눠 정리했다. 로봇 팔 농장 실험과 파운데이션 모델 도입, 그리고 지금의 데이터·평가 스케일 경쟁까지 짚는다.
핵심 내용 읽기 →
로봇 학습의 미해결 과제 총정리: 일반화·촉각·강화학습·평생학습, ETH 취리히 강의 요약
소셜미디어에서는 매주 로봇공학이 해결됐다는 선언이 나오지만 실험실 밖에서는 여전히 무너진다. ETH 취리히 로봇 학습 강좌 마지막 회차가 짚은 일반화·촉각·강화학습·평생학습의 미해결 과제와 연구 방법론을 정리했다.
핵심 내용 읽기 →
과학용 파운데이션 모델과 토크나이저: 은하 이미지 64만 장으로 비교한 4가지 토큰화 방식
스탠퍼드 물리·AI 콘퍼런스 발표 정리. 은하 이미지 64만 장과 같은 트랜스포머 백본으로 네 가지 토크나이저를 비교한 결과, 이미지를 잘 복원하는 방식과 물리량을 잘 담아내는 방식이 서로 달랐다.
핵심 내용 읽기 →
제너럴리스트 로봇 정책 정리: ETH 취리히 강의가 짚은 데이터·모델링·평가 3대 관문과 VLA 학습법
ETH 취리히 로봇 학습 강의 9강 정리. 하나의 모델로 여러 로봇을 제어하는 제너럴리스트 로봇 정책이 데이터 수집, 이종 데이터 모델링, 평가 비용이라는 세 관문을 어떻게 넘고 있는지 Octo와 최신 VLA 학습법을 통해 살펴본다.
핵심 내용 읽기 →
의료 AI 파운데이션 모델, 위기의 한국 의료를 바꿀 네 갈래 변화 — 서울대 세미나 정리
서울대에서 열린 한국형 의료특화 AI 세미나 발표 정리. 알파고 이후 10년의 의료 AI 변화와 생산성·의료 수준·접근성·영역 확대라는 네 갈래 기여, 그리고 공공 파운데이션 모델이 필요한 이유를 짚는다.
핵심 내용 읽기 →
점구름 파운데이션 모델: 입자물리 데이터로 사전학습한 AI가 우주론·화학까지 전이되는 원리
스탠퍼드 물리·AI 콘퍼런스 강연을 바탕으로, 입자 충돌 데이터를 점구름으로 표현해 사전학습한 파운데이션 모델이 검출기 언폴딩과 이상 탐지를 개선하고 우주론·분자동역학·중성미자 실험으로까지 전이되는 과정을 정리했다.
핵심 내용 읽기 →
이미지 임베딩이란? CLIP·DINOv2로 이해하는 재사용 가능한 벡터 표현과 시각 검색
이미지를 의미가 담긴 벡터로 바꾸는 이미지 임베딩의 개념과, 분류 전용 합성곱 신경망에서 CLIP·DINOv2 같은 파운데이션 모델로 넘어가며 재사용성이 어떻게 달라졌는지, 이 벡터가 텍스트·이미지 검색에 어떻게 쓰이는지 정리했습니다.
핵심 내용 읽기 →
파운데이션 모델과 AI 에이전트는 물리학 연구를 정말 가속하는가 — 스탠퍼드 HAI 패널 정리
스탠퍼드 HAI 물리·AI 콘퍼런스 패널에서 천문학자들이 파운데이션 모델의 구조적 한계와 연구용 AI 에이전트의 실패 유형, 그리고 결과를 어디까지 믿을 수 있는지와 연구자의 숙련이 무뎌지는 문제를 함께 짚었다.
핵심 내용 읽기 →
로봇 파운데이션 모델 해석가능성과 안전: 뉴런 군집을 조작해 로봇 행동을 제어하는 연구
버클리 연구진이 로봇 파운데이션 모델의 내부 뉴런을 개념 단위로 묶어 행동을 조절한 첫 해석가능성 연구를 소개했다. 똑같은 자연어 명령에도 로봇의 움직임이 달라지는 실험과 물리 AI 안전이라는 새 과제를 함께 다룬다.
핵심 내용 읽기 →
수술실 피지컬 AI 연구센터: 수술 보조 로봇 파운데이션 모델과 안전 프로토콜 발표 정리
서울대 AI연구원 킥오프 발표에서 수술실 피지컬 AI 혁신연구센터가 집도의 대신 수술 보조 인력을 대체하는 로봇 구상을 공개했다. 멀티모달 파운데이션 모델과 비상 정지 프로토콜, 의사별 개인화가 초기 과제로 제시됐다.
핵심 내용 읽기 →
범용 로봇 파운데이션 모델 개발기: 첼시 핀이 공개한 빨래 개기 로봇의 사전학습·사후학습 레시피
피지컬 인텔리전스 공동창업자 첼시 핀이 범용 로봇 모델 개발 과정을 공개했다. 빨래 개기에서 3개월간 성공률 0%를 겪은 뒤 찾아낸 사전학습·사후학습 조합과, 처음 가보는 집에서도 작동한 비결을 짚는다.
핵심 내용 읽기 →
AI와 현대 의료가 만나는 지점: 집단건강과 정밀건강, 병리 파운데이션 모델 활용 사례
AI가 들어오면서 아플 때만 반응하던 진료가 연속적인 추론으로 바뀌고 있다. 집단건강과 정밀건강은 무엇이 다른지, 병리 파운데이션 모델 비교 연구는 무엇을 보여 줬는지, 남은 과제는 무엇인지 강연을 토대로 정리했다.
핵심 내용 읽기 →
파운데이션 모델 로봇 학습, 행동 예측·3D 입력·계층 설계로 범용 로봇에 다가서다
엔비디아 연구원이 TTIC 강연에서 파운데이션 모델로 범용 로봇의 뇌를 만드는 방법을 설명했다. 행동을 텍스트로 출력하고, 점군을 정투상 이미지로 바꾸고, 전문가 모델과 계층으로 결합하는 세 가지 접근을 소개한다.
핵심 내용 읽기 →
지리공간 파운데이션 모델 데이터 준비, 오픈소스 테라킷으로 다섯 줄 코드에 끝내는 방법
NASA와 ESA가 쏟아내는 0.5엑사바이트 위성 데이터는 형식도 출처도 제각각이다. IBM 연구진이 파이토치 콘퍼런스에서 공개한 오픈소스 라이브러리 테라킷이 이 데이터 준비 과정을 어떻게 줄이는지 정리했다.
핵심 내용 읽기 →
단일세포 파운데이션 모델 Tahoe-x1: 약물 반응 예측으로 신약 개발을 앞당기는 법
버클리 BioML 세미나에서 소개된 단일세포 파운데이션 모델 Tahoe-x1은 세포 2억 5천만 개로 학습해 실험한 적 없는 세포주와 약물 조합의 반응을 예측한다. 학습 비용은 4만 5천 달러 수준이었다.
핵심 내용 읽기 →
웨이모 공동 CEO의 물리 세계 AI 7가지 교훈: 데모 18개월, 제품 15년의 격차
웨이모 공동 CEO가 스타트업 스쿨에서 밝힌 자율주행 15년의 기술 교훈을 정리했다. 데모와 제품 사이의 격차, 센서 중복성, 파운데이션 모델, 폐루프 시뮬레이션, 평가 지표까지 물리 세계 AI가 디지털 AI와 다른 지점을 짚는다.
핵심 내용 읽기 →
Time-LLM 시계열 예측 정리: 언어모델을 백본으로 쓰는 법과 Time-FFM 연합학습 확장
시계열 분야에는 왜 파운데이션 모델이 없을까. 고려대 DMQA 세미나는 데이터 부족과 도메인 이질성을 원인으로 짚고, 언어모델을 고정한 채 백본으로 쓰는 Time-LLM과 이를 연합학습으로 확장한 Time-FFM을 소개한다.
핵심 내용 읽기 →
스탠퍼드 CS229 강의: 확산 모델 학습 원리와 파운데이션 모델 적응법(선형 프로빙·파인튜닝·LoRA)
스탠퍼드 CS229 12강이 확산 모델의 손실 함수가 왜 노이즈 예측 문제로 바뀌는지 유도하고, 사전학습된 파운데이션 모델을 새 과제에 붙이는 선형 프로빙·파인튜닝·LP-FT·LoRA의 실제 이득이 어디에 있는지 따져봤다.
핵심 내용 읽기 →
CLIP 원리 해설: 언어가 컴퓨터 비전을 바꾼 과정과 제로샷 이미지 분류의 등장
AlexNet에서 CLIP까지, 정답 라벨 대신 자연어 설명으로 학습하는 방식이 컴퓨터 비전을 어떻게 재편했는지 CodeEmporium의 해설 강의를 토대로 대조 학습과 제로샷 분류를 중심으로 정리했다.
핵심 내용 읽기 →
AI 모델 개발 5단계 정리: 데이터 준비부터 학습, 검증, 튜닝, 배포까지 파운데이션 모델 워크플로
IBM 기술 해설 영상이 설명하는 AI 모델 제작 5단계를 정리했다. 파운데이션 모델이 개발 방식을 어떻게 바꿨는지, 페타바이트급 데이터 정제부터 토큰화와 벤치마크, 파인튜닝과 배포까지 각 단계에서 무엇이 이뤄지는지 살펴본다.
핵심 내용 읽기 →
파운데이션 모델이란 무엇인가, BERT·CLIP·DINOv2·SAM·스테이블 디퓨전으로 보는 조건
파운데이션 모델에는 엄밀한 정의가 없지만 공통된 특징은 있다. 거대한 규모, 라벨 없는 대량 학습 데이터, 그리고 무엇보다 재사용성이다. 대표 모델 다섯 가지로 그 기준을 풀어본다.
핵심 내용 읽기 →
DINOv3 논문 해설: 라벨 없는 컴퓨터 비전 파운데이션 모델과 그램 앵커링
메타 AI의 DINOv3는 라벨 없이 17억 장 이미지로 학습한 70억 파라미터 비전 파운데이션 모델이다. 자기지도 학습 구조와 밀집 예측 성능을 지켜낸 그램 앵커링을 해설한다.
핵심 내용 읽기 →
InternVL 논문 리뷰: 60억 파라미터 비전 인코더와 QLLaMA 미들웨어로 멀티모달 정렬을 다시 설계하다
CVPR 2024 구두 발표 논문 InternVL은 비전 인코더를 60억 파라미터로 키우고 언어 미들웨어를 끼워 넣었다. 기존 경량 연결층의 한계와 3단계 학습, 스위스 아미 나이프식 조합 구조를 정리했다.
핵심 내용 읽기 →
오픈소스 AI vs 폐쇄형 AI: Oumi CEO가 말하는 '리눅스 모먼트'와 DeepSeek 충격
전 구글 PaLM 책임자였던 Oumi CEO 마노스 쿠쿠미디스가 오픈소스 AI가 폐쇄형을 앞설 것이라 보는 이유, 리눅스·DeepSeek 비유, 그리고 파운데이션 모델 개발 플랫폼 Oumi의 구상을 설명한다.
핵심 내용 읽기 →
트랜스포머가 컴퓨터 비전을 장악한 과정: ViT부터 CLIP·SAM까지
2010년대 컴퓨터 비전을 지배한 CNN이 어떻게 트랜스포머에 자리를 내줬는지, 이미지를 패치 시퀀스로 다룬 ViT와 확장성, 그리고 CLIP·SAM 같은 파운데이션 모델의 등장을 정리했다.
핵심 내용 읽기 →
Grok 4.5 정리 — V9 파운데이션 모델·가격·코딩과 오피스 활용 총정리
xAI의 Grok 4.5를 8분 요약으로 살펴본다. 1.5조 파라미터 V9 기반, 오픈 모델을 앞서는 성능, 프론티어 대비 낮은 가격, 코딩·오피스 실사용 테스트까지 핵심만 정리했다.
핵심 내용 읽기 →
AI 엔지니어링 책 요약: 파운데이션 모델·RAG·에이전트·파인튜닝 총정리
칩 후옌의 800쪽 책 'AI 엔지니어링'을 한 편으로 압축했다. 파운데이션 모델의 원리, 평가와 모델 선택, 프롬프트 엔지니어링, RAG와 에이전트, 파인튜닝, 데이터셋 설계, 추론 최적화, 전체 아키텍처까지 이 분야의 지도를 그린다.
핵심 내용 읽기 →
IBM watsonx 기업용 생성형 AI: 파운데이션 모델·데이터 모델 팩토리·거버넌스
IBM Think 2023에서 다리오 길이 소개한 watsonx의 청사진. AI 사용자와 가치 창출자의 차이, 데이터·모델 팩토리, AI 거버넌스, 허깅페이스 파트너십까지 기업용 AI 전략을 정리했다.
핵심 내용 읽기 →
스탠퍼드 생성형 AI 기술 기초 강의 개요 — 파운데이션 모델부터 에이전트 AI까지
스탠퍼드 온라인이 공개한 '생성형 AI 기술 기초' 강의 소개 영상. 비전공자를 위해 파운데이션 모델, 에이전트 AI 구축, 문제에 맞는 모델 선택 같은 핵심 개념을 스탠퍼드 교수진이 직접 짚어준다.
핵심 내용 읽기 →
파운데이션 모델이 많은 이유: 전이 학습과 파인튜닝, IBM·NASA 지구관측 모델 사례로 이해하기
허깅페이스에 오픈소스만 수천 개의 파운데이션 모델이 존재하는 이유를 전이 학습과 파인튜닝 개념, 그리고 IBM과 NASA가 공개한 지구관측 오픈소스 모델 사례를 통해 일반 독자도 이해하기 쉽게 설명합니다.
핵심 내용 읽기 →
AI 엔지니어링 입문 가이드: 파운데이션 모델로 데모를 실제 프로덕션 제품으로 만드는 전 과정 정리
칩 후옌의 책 'AI Engineering'을 길잡이 삼아, 파운데이션 모델 기반 애플리케이션을 데모에서 프로덕션으로 끌어올리는 핵심 개념인 평가·프롬프트·RAG·에이전트·가드레일을 한 번에 정리한다.
핵심 내용 읽기 →
시계열 예측 패러다임 변화 - ARIMA·트랜스포머·채널 전략·TimesFM 정리
통계 모형(ARIMA)에서 딥러닝, 트랜스포머, 채널 독립·의존 전략을 거쳐 제로샷 파운데이션 모델 TimesFM까지, 시계열 예측 모델의 발전 흐름을 한눈에 정리한다.
핵심 내용 읽기 →
생성형 AI와 파운데이션 모델 - IBM이 정리한 작동 원리·장점·한계
IBM 리서치의 케이트 소울이 설명하는 파운데이션 모델과 생성형 AI의 개념, 다음 단어 예측이라는 학습 방식, 튜닝과 프롬프팅, 그리고 연산 비용과 신뢰성이라는 한계를 한국어로 정리했다.
핵심 내용 읽기 →
생성형 AI 입문 — 머신러닝·딥러닝·파운데이션 모델 한눈에 정리
구글 클라우드의 생성형 AI 강의를 한국어로 정리했다. AI와 머신러닝의 차이, 지도·비지도 학습, 딥러닝과 신경망, 생성형 모델과 판별형 모델의 구분, 파운데이션 모델과 트랜스포머까지 기초 개념을 쉽게 풀었다.
핵심 내용 읽기 →