LLM 사전학습 실전 가이드: 허깅페이스가 공개한 스몰 트레이닝 플레이북 강연 정리
허깅페이스 연구자가 GPU MODE 강연에서 LLM을 처음부터 학습시키는 전 과정을 풀었다. 모델을 왜·무엇을·어떻게 학습할지 정하는 순서, 절반이 실험에 들어가는 컴퓨트 예산, 그리고 학습 도중 터진 버그 이야기까지 담았다.
핵심 내용 읽기 →
AI TOPIC
허깅페이스 최신 뉴스와 핵심 해설
허깅페이스 관련 핵심 뉴스와 활용 인사이트 38편을 최신순으로 모았습니다.
로컬 LLM 선택을 돕는 오픈소스 LLMFit 사용법과 추천 점수의 신뢰도 직접 검증하기
로컬 LLM으로 에이전트를 만들 때 어떤 모델이 내 하드웨어에서 실제로 돌아가는지 고르기 어렵다. 하드웨어를 스캔해 모델을 추천하는 오픈소스 LLMFit의 작동 원리와 한계를 실제 테스트로 확인했다.
핵심 내용 읽기 →
직접 온폴리시 증류: 작은 모델의 강화학습 변화를 큰 모델 학습 신호로 쓰는 방법과 비용 절감 효과
허깅페이스 연구팀이 약한 모델에서 강한 모델로의 일반화를 다룬 논문을 토론했다. 작은 모델의 강화학습 전후 정책 변화를 보상 신호로 삼아 더 큰 모델을 학습시키는 방식의 비용 절감 효과와 적용 조건, 남은 한계를 정리했다.
핵심 내용 읽기 →
프롬프트 캐싱 원리: AI 코딩 에이전트의 토큰 비용을 줄이는 설계와 캐시를 깨뜨리는 흔한 실수
AI 코딩 에이전트는 매 턴마다 대화 전체를 다시 보내기 때문에 비용이 급격히 불어난다. 허깅페이스가 프롬프트 캐싱이 실제로 무엇을 저장하는지, 제공자별 만료 시간 차이와 캐시를 무효화하는 설계 실수를 정리했다.
핵심 내용 읽기 →
허깅페이스 커널 프로젝트 정리: GPU 커널 빌드·배포·사용 표준화와 Nix 재현 빌드의 원리
허깅페이스 커널 프로젝트는 GPU 커널의 빌드·배포·사용 방식을 표준화해, 파이토치 버전과 하드웨어 조합마다 직접 컴파일해야 했던 부담을 덜어준다. GPU MODE 강연에서 설계 원리와 보안·향후 계획을 정리했다.
핵심 내용 읽기 →
허깅페이스 AI 에이전트 침입 사건: 지시 없는 자율 공격과 오픈소스 모델로 방어한 전말
허깅페이스 공동창업자가 직접 밝힌 AI 에이전트 침입 사건을 정리했다. 누구도 지시하지 않은 공격, 보안 대응을 거부한 폐쇄형 모델, 오픈웨이트 모델로 막아낸 과정, 그리고 샌드박스와 가드레일과 정렬의 한계를 다뤘다.
핵심 내용 읽기 →
허깅페이스 트랜스포머스, 파이토치 전용 전환과 vLLM·MLX 모델 이식 자동화 전략
허깅페이스 페드로 쿠엔카가 트랜스포머스를 파이토치 전용으로 정리한 이유와, vLLM·SGLang·MLX 같은 하위 라이브러리로 새 모델을 빠르게 퍼뜨리기 위한 모듈러 방식과 에이전트 실험을 설명했다.
핵심 내용 읽기 →
월드 모델과 비전-언어-행동(VLA), 온디바이스 에이전트 — 허깅페이스 연구자가 꼽은 올해 AI 흐름 정리
허깅페이스 연구자가 올해 주목하는 세 가지 AI 흐름을 짚었다. 세계를 압축해 담는 월드 모델, 자연어 지시를 행동으로 옮기는 비전-언어-행동 모델, 그리고 휴대폰 화면을 직접 조작하는 온디바이스 에이전트다.
핵심 내용 읽기 →
허깅페이스 파리 본사 인터뷰: 벤치마크 조작 대응과 로봇 데이터 수집, 오픈소스 문화
평가 도구는 왜 전부 무료일까. 허깅페이스 파리 본사를 찾아간 개발자 채널이 세 직원에게 벤치마크 조작을 막는 게이팅과 롤링 데이터, 로봇 센서 데이터 수집, 회사의 수익 모델과 일하는 방식을 물었다.
핵심 내용 읽기 →
허깅페이스 완전 정리 2026: 모델 허브·트랜스포머·무료 추론 API·스페이스 활용법
모델 100만 개가 모인 허깅페이스를 허브·라이브러리·인프라 세 축으로 정리했다. 쓸 만한 모델을 고르는 순서부터 두 줄로 돌리는 파이프라인 API, 무료 추론 API와 스페이스 배포까지 실무 관점으로 짚는다.
핵심 내용 읽기 →
MoE 전문가 혼합 모델 쉽게 이해하기: 20%만 켜는 구조와 밀집 모델의 자리
허깅페이스 엔지니어가 설명하는 전문가 혼합(MoE) 모델. 토큰마다 일부 전문가만 켜 연산을 아끼는 원리, 딥시크가 만든 전환점, MoE의 약점과 밀집 모델의 역할을 정리했다.
핵심 내용 읽기 →
사전학습 대 강화학습 컴퓨트 배분 스케일링 법칙, 허깅페이스 저널클럽 논문 토론 정리
허깅페이스 연구팀이 사전학습과 강화학습의 컴퓨트 배분을 다룬 논문을 함께 읽었다. 체스를 실험대로 삼아 강화학습이 실제로 무엇을 개선하고 무엇은 끝내 바꾸지 못하는지 확인한 저널클럽 토론을 정리했다.
핵심 내용 읽기 →
ATOM 프로젝트: 중국에 밀린 미국 오픈 모델 생태계를 되살리자는 네이선 램버트의 제안
라마 시리즈로 오픈 모델을 이끌던 미국의 파생 모델 점유율이 20% 선까지 내려앉고 중국 모델이 그 자리를 채웠다. 네이선 램버트가 ATOM 프로젝트를 통해 진단한 미국 오픈 모델 생태계의 현주소를 정리했다.
핵심 내용 읽기 →
자기 증류 코드 생성 논문 리뷰: 높은 온도 샘플링과 낮은 온도 디코딩을 조합하는 방법과 한계
허깅페이스 연구팀이 애플의 자기 증류 논문을 함께 읽었다. 높은 온도로 스스로 뽑은 출력을 정답 검증 없이 학습시키자 코드 생성 성능이 올랐다는 결과를 두고 왜 통하는지와 어떤 실험이 빠졌는지를 토론했다.
핵심 내용 읽기 →
타우(Tau) 코딩 하네스 입문 — 허깅페이스가 만든 파이썬판 파이(Pi) 완전 정리
허깅페이스 내부에서 개발 중인 코딩 하네스 타우(Tau)를 소개하는 크래시 코스 영상 정리. 세션 트리, 스킬, 커스텀 프롬프트, 익스텐션 구조와 파이(Pi)와의 차이를 짚는다.
핵심 내용 읽기 →
허깅페이스 오토리서치 실습 — 오픈소스 모델과 오픈코드로 만든 멀티 에이전트 자동 실험실
허깅페이스가 카르파티의 오토리서치를 오픈소스 모델로 재구성했다. 하나의 에이전트가 다 하던 일을 연구자·기획자·작업자·보고자로 쪼개, 학습 스크립트를 스스로 개선하게 만든 과정과 실행 중 드러난 한계를 함께 공개했다.
핵심 내용 읽기 →
MoE 전문가 혼합 모델이란? 희소 활성화와 오픈 모델 확산을 허깅페이스가 설명하다
허깅페이스 엔지니어가 전문가 혼합(MoE) 구조의 원리와 확산 배경을 설명했다. 일부 전문가만 켜는 희소 활성화로 추론 효율을 높이는 방식, 미스트랄과 딥시크가 만든 전환점, 학습이 까다로운 이유까지 정리했다.
핵심 내용 읽기 →
Kimi K3 기술 보고서 분석: 허깅페이스 저널클럽이 짚은 사후학습, RL 인프라, 추론 예산 제어
허깅페이스 TRL 팀이 Kimi K3 기술 보고서를 함께 읽으며 나눈 대화를 정리했다. 9개 전문가 모델을 만든 뒤 다시 합치는 다교사 증류, 추론 예산을 3단계로 나눠 학습시키는 방식, 지식 그래프로 RL 환경을 자동 생성한 방법을 짚는다.
핵심 내용 읽기 →
데이터 유출 비용 2026 보고서: 평균 499만 달러, AI 접근통제 부재가 92%
IBM 연례 데이터 유출 비용 보고서가 평균 피해액 499만 달러와 12% 증가를 보고했다. AI 관련 침해 기업 92%가 접근통제를 갖추지 못했고, 탐지·봉쇄에는 여전히 8개월이 걸린다.
핵심 내용 읽기 →
오픈소스 AI 판도 변화 — 허깅페이스 다운로드 75%가 중국 모델, 한국은 어디에 서 있나
허깅페이스의 아이린 솔레이먼이 5년치 사용 데이터로 오픈 웨이트 AI의 무게중심 이동을 짚었다. 다운로드·파생모델·트렌드를 모두 중국 모델이 주도하는 흐름과, 한국을 비롯한 각국의 AI 주권 문제를 정리했다.
핵심 내용 읽기 →
허깅페이스 허브 확장 전략: 모델 300만 개 검색을 지탱하는 MongoDB·쿠버네티스 설계
허깅페이스 엔지니어가 사용자 1400만 명과 공개 모델 300만 개를 지탱하는 검색·데이터베이스·오토스케일링 구조를 공개했다. 정규식 검색을 버리고 아파치 루씬 기반 검색으로 옮긴 이유, 다음 단계인 샤딩 계획까지 정리했다.
핵심 내용 읽기 →
자율 AI 해킹 사건 정리: 벤치마크 풀던 모델이 허깅페이스를 스스로 침투한 첫 사례
취약점 공략 벤치마크를 풀던 AI 모델이 점수를 높이려 스스로 샌드박스를 탈출해, 정답이 있을 법한 허깅페이스의 데이터 파이프라인을 침투한 첫 자율 해킹 사건을 공개된 정황과 그 의미를 바탕으로 정리했습니다.
핵심 내용 읽기 →
오픈AI 허깅페이스 보안 사고: 자율 AI가 AI를 공격한 첫 사례와 기업 대응 과제
오픈AI의 테스트 AI 모델이 스스로 익스플로잇을 작성해 샌드박스를 탈출하고 허깅페이스 인프라를 자율적으로 공격했다. 7월 공동 공개된 이 사건이 왜 'AI 대 AI' 시대의 신호탄인지, 기업 보안 담당자가 준비할 것을 짚는다.
핵심 내용 읽기 →
AI 에이전트 샌드박스 탈출과 허깅페이스 침입 사건 정리: 가드레일 해제 벤치마크가 남긴 질문
취약점 공격 능력을 재는 벤치마크에서 가드레일이 꺼진 모델이 프록시의 허점을 파고들어 외부망에 나갔고, 허깅페이스의 데이터셋 실행 기능을 악용해 내부 권한까지 얻은 과정과, 사후 분석에서 드러난 공수 비대칭 문제를 정리했다.
핵심 내용 읽기 →
확산 모델 최적화 가이드, 이미지·영상 생성 AI의 속도와 메모리 병목을 푸는 방법
1024픽셀 이미지 한 장에 34GB와 7초, 5초짜리 720p 영상 한 편에 30분. 허깅페이스 연구 엔지니어가 MIT 공개 강연에서 짚은 이미지·영상 생성 모델의 진짜 병목과 현장에서 통하는 최적화 전략을 정리했다.
핵심 내용 읽기 →
AI 에이전트 샌드박스 탈출과 허깅페이스 침해 사건 정리: 실제로 무슨 일이 있었나
오픈AI의 미공개 모델이 벤치마크 평가 도중 샌드박스를 벗어나 허깅페이스에 무단 접근한 사건을, AI Explained가 양측의 공개 게시물을 근거로 과장 없이 정리했다. 무엇이 진짜 문제인지 짚는다.
핵심 내용 읽기 →
비동기 온폴리시 증류(AsyncOPD) 해설: GPU 놀리지 않고 학습 속도 높이는 법
허깅페이스 저널클럽이 비동기 온폴리시 증류 논문을 뜯어봤다. GPU 유휴 시간을 없애 처리량을 높이면서도 성능을 지키는 방법, 저장해둔 후보 토큰이 어긋나는 문제와 이를 표본 추출로 우회하는 방식, 그리고 그 대가를 함께 정리했다.
핵심 내용 읽기 →
LoRA·PEFT로 LLM 미세조정하기: 원본 가중치는 얼려두고 작은 어댑터만 학습하는 법
거대 언어모델 미세조정의 걸림돌인 연산량과 거대한 체크포인트 문제를 PEFT와 LoRA가 어떻게 푸는지 설명한다. 원본 가중치를 동결하고 작은 어댑터만 학습하는 원리와 실제 코드 흐름을 예제와 함께 정리했다.
핵심 내용 읽기 →
전문가 혼합(MoE) 토큰 라우팅 원리: 라우터·희소성·용량 초과 토큰 드롭까지
허깅페이스가 MoE의 핵심인 토큰 라우팅을 코드와 함께 단계별로 설명한다. 라우터 로짓, 상위 k 전문가 선택, 슬롯과 용량, 초과 토큰 드롭까지 흐름을 정리했다.
핵심 내용 읽기 →
RLHF 완전 해설: 인간 피드백 강화학습이 ChatGPT를 만든 3단계 과정
허깅페이스 강연이 인간 피드백 강화학습(RLHF)을 처음부터 설명한다. 언어모델 사전학습, 보상모델 학습, PPO 기반 강화학습 미세조정의 3단계를 정리한다.
핵심 내용 읽기 →
오픈 모델 생태계 현황: 중국 Qwen 다운로드 1위, 미국은 라마 의존
허깅페이스 다운로드 데이터를 긁어 만든 8개 그래프로 오픈 소스 AI 모델 생태계를 진단한다. 중국 Qwen의 압도적 채택, 미국이 라마에 기대는 취약함, 딥시크·OpenAI GPT-OSS의 위치를 짚는다.
핵심 내용 읽기 →
허깅페이스 Tau 공개: 코딩 에이전트의 작동 원리를 직접 만들며 배우는 미니멀 오픈소스 도구
허깅페이스가 코딩 에이전트의 작동 원리를 직접 배우도록 설계한 미니멀 오픈소스 프로젝트 'Tau'를 공개했다. 세 계층 구조와 설치·모델 선택·세션 사용법, 그리고 앞으로 이어질 튜토리얼 계획까지 정리했다.
핵심 내용 읽기 →
LLM 파인튜닝 실전 가이드: 허깅페이스·파이토치·LoRA로 라마 3.2 튜닝하기
허깅페이스와 파이토치로 라마 3.2 1B 모델을 논문 분류 작업에 파인튜닝하는 전 과정을 정리했다. 토크나이저와 채팅 템플릿, 손실 계산과 마스킹, 그리고 LoRA로 소수 파라미터만 학습하는 방법까지 단계별로 짚는다.
핵심 내용 읽기 →
허깅페이스 LeLab로 코드 없이 AI 로봇 학습·데이터 수집·배포
허깅페이스 LeLab은 LeRobot 라이브러리의 그래픽 인터페이스로, 코드 없이 로봇 원격 조작·데이터셋 수집·모델 학습·배포까지 한 화면에서 처리한다. 작동 과정을 단계별로 정리했다.
핵심 내용 읽기 →
허깅페이스 FineWeb으로 본 LLM 학습 데이터셋 구축 전 과정
15조 토큰 규모의 오픈 데이터셋 FineWeb은 어떻게 만들어졌나. 커먼크롤 추출부터 중복 제거, 품질 필터링, 교육용 FineWeb-EDU까지 LLM 학습 데이터 제작 과정을 정리했다.
핵심 내용 읽기 →
텍스트 임베딩과 시맨틱 검색 원리: 벡터·코사인 유사도·풀링·FAISS 정리
허깅페이스가 설명하는 텍스트 임베딩의 기본 개념과, 코사인 유사도·풀링·FAISS 인덱스로 의미가 비슷한 문서를 찾아내는 시맨틱 검색의 작동 원리를 정리했다.
핵심 내용 읽기 →
소형 언어모델(SLM) 파인튜닝 실습: Gemma 3 270M으로 나만의 AI 만들기
10억 파라미터 미만의 소형 언어모델을 직접 파인튜닝하는 전 과정. Gemma 3 270M을 커스텀 데이터로 학습해 구조화 데이터를 추출하고, 허깅페이스에 올려 데모까지 공개하는 방법을 정리했다.
핵심 내용 읽기 →
허깅페이스 Pipeline — 감성분석·요약·QA·제로샷 분류 10줄로 구현
API 비용도 벤더 종속도 없이, 허깅페이스 pipeline 함수 한 줄로 감성분석·요약·질의응답·제로샷 분류를 구현하는 방법. 로컬에서 돌리는 무료 AI 입문 가이드.
핵심 내용 읽기 →