OLMo 2 개발기: 학습 불안정, 데이터, 중간 학습까지 완전 공개 모델 팀의 기록
앨런 AI 연구소의 OLMo 개발 리더들이 AMD 클러스터에서 시작한 초기 사정부터 70B 학습 실패와 안정화 조사, 데이터 확보의 제약, 중간 학습의 역할까지 공개 언어 모델 개발의 실제를 길게 풀어놨다.
핵심 내용 읽기 →
AI TOPIC
사전 학습 최신 뉴스와 핵심 해설
사전 학습 관련 핵심 뉴스와 활용 인사이트 30편을 최신순으로 모았습니다.
UNITER 논문 리뷰 정리: 비전-언어 사전학습 네 가지 과제와 단어-영역 정렬 원리
비전-언어 사전학습 모델 UNITER를 다룬 논문 리뷰 발표를 정리했다. 이미지 영역 특징과 문장 토큰을 한 트랜스포머에 함께 넣고, 단어와 영역 마스킹 예측부터 최적 수송을 쓴 단어-영역 정렬까지 네 가지 과제로 학습하는 구조를 설명한다.
핵심 내용 읽기 →
오픈 보캐뷸러리 객체 탐지: 이미지-캡션 사전 학습으로 처음 보는 클래스까지 검출하는 방법
바운딩 박스 주석 없이 웹에서 모은 이미지와 캡션 쌍으로 먼저 사전 학습한 뒤 객체 탐지로 전이하는 오픈 보캐뷸러리 방식을 논문 리뷰로 정리했다. 제로샷·약지도 탐지와의 차이, 그리고 평가에 남은 한계까지 짚는다.
핵심 내용 읽기 →
TCL 논문 리뷰: 비전-언어 사전학습에 모달리티 내부 대조와 지역 정보를 더한 이유
각각의 인코더로 정렬하던 방식에서 융합 전에 정렬하는 방식까지, 비전-언어 사전학습의 계보를 짚고 여기에 모달리티 내부 대조 학습과 지역 정보 상호정보량을 더한 TCL 논문을 국내 스터디 세미나 발표로 정리했다.
핵심 내용 읽기 →
LLM 사전 학습 실습 정리 — 크로스 엔트로피와 퍼플렉서티, 온도·top-k 샘플링, 체크포인트 저장
라벨 없는 텍스트로 GPT-2를 직접 학습시킨 스터디 기록. 크로스 엔트로피와 퍼플렉서티로 모델을 평가하고, 훈련·검증 손실을 함께 그려 과적합 시점을 잡고, 온도와 top-k로 생성 문장을 조절한 뒤 체크포인트까지 저장하는 과정을 정리했다.
핵심 내용 읽기 →
LLM 사전학습과 사후학습 기초 정리: BERT의 마스킹, T5의 텍스트투텍스트, GPT의 다음 토큰 예측
대학 LLM 강의가 사전학습과 사후학습의 큰 그림을 정리한다. 인코더·인코더디코더·디코더 세 계열이 무엇을 다르게 했고 왜 GPT의 다음 토큰 예측 방식만 남았는지, SFT는 사전학습과 정확히 어디서 갈리는지 짚었다.
핵심 내용 읽기 →
LLM 강의 정리: 데이터셋 구축과 SFT, 기술보고서가 끝까지 공개하지 않는 학습의 나머지 절반
딥시크 V4 기술보고서는 60쪽인데 데이터 설명은 한 문단뿐이다. 대학 LLM 강의가 짚은 웹 크롤링과 저작권 문제, 필터링과 중복 제거, 합성 데이터 활용, 그리고 SFT가 실제로 하는 역할까지 차례로 정리했다.
핵심 내용 읽기 →
LLM 사전학습 실전 가이드: 허깅페이스가 공개한 스몰 트레이닝 플레이북 강연 정리
허깅페이스 연구자가 GPU MODE 강연에서 LLM을 처음부터 학습시키는 전 과정을 풀었다. 모델을 왜·무엇을·어떻게 학습할지 정하는 순서, 절반이 실험에 들어가는 컴퓨트 예산, 그리고 학습 도중 터진 버그 이야기까지 담았다.
핵심 내용 읽기 →
비전 언어 모델 학습 레시피 정리: 사전학습·중간학습·미세조정이 바꾼 컴퓨터 비전 8년
ETH 취리히 로봇 학습 강의에 초청된 메타 연구자가 컴퓨터 비전이 8년 만에 쓸 만해진 과정을 사전학습·중간학습·미세조정 레시피로 정리하고, 규모 확장의 조건과 데이터 필터링의 함정, 추론과 계획이라는 남은 과제를 짚었다.
핵심 내용 읽기 →
물리 정보 머신러닝 비교: 대칭성 내장 모델과 대규모 사전학습, 어느 쪽이 유리한가
스탠퍼드 물리·AI 학회 발표에서 대칭성을 아키텍처에 새긴 등변 모델과 1억 건 시뮬레이션으로 사전학습한 모델을 세 가지 정밀 과제로 비교했다. 두 방식의 성능 차이와 데이터·연산 자원에 따른 선택 기준을 정리했다.
핵심 내용 읽기 →
그래프 신경망 자기지도학습 정리 - 오토인코더 복원·그래프 기술자 예측·대조학습 세 가지 방식 비교
라벨 없는 그래프로 그래프 신경망을 학습시키는 방법을 오토인코더 복원, 그래프 기술자 예측, 대조학습 세 갈래로 정리했다. 분자 데이터 사전학습이 늘 이득은 아니라는 연구와 유사성 가정의 함정까지 함께 짚는다.
핵심 내용 읽기 →
LLM 밑바닥부터 만들기: 토큰화·GPT 아키텍처·사전학습·가중치 로딩·LoRA 파인튜닝 정리
세바스찬 라시카의 3시간 코딩 워크숍을 정리했다. 텍스트 토큰화와 학습 배치 구성부터 GPT 아키텍처, 소규모 사전학습, 공개 가중치 로딩, LoRA 인스트럭션 파인튜닝과 모델 평가까지 LLM 개발 전 과정을 순서대로 짚는다.
핵심 내용 읽기 →
딥 빌리프 네트워크(DBN)란? AI 겨울을 끝낸 힌튼의 2006년 발상과 사전학습의 기원
1969년 XOR 문제로 얼어붙었던 신경망 연구는 2006년 제프리 힌튼의 딥 빌리프 네트워크로 되살아났다. 제한된 볼츠만 머신과 층별 학습, MNIST 오류율 1.25% 기록이 오늘날 사전학습 패러다임으로 이어진 과정을 정리했다.
핵심 내용 읽기 →
LLM 사전학습 직접 구현: 교차 엔트로피 손실, 온도 조절 샘플링, GPT-2 가중치 불러오기
세바스찬 라시카가 GPT 모델을 밑바닥부터 사전학습하는 과정을 공개했다. 교차 엔트로피 손실 계산부터 학습·검증 손실 추적, 온도 조절과 top-k 샘플링, 오픈AI GPT-2 가중치 이식까지 단계별로 다룬다.
핵심 내용 읽기 →
베이스 모델 사전학습 변화: 웹 텍스트 85%에서 15%로, 합성 데이터와 강화학습이 바꾼 LLM 훈련 방식
아씨 AI 사전학습 총괄 바룬 싱은 웹 텍스트를 그대로 반영하던 베이스 모델의 시대가 끝났다고 말한다. 사후학습 데이터가 사전학습으로 앞당겨지고, 사전학습은 강화학습을 위한 준비 단계로 재정의되고 있다.
핵심 내용 읽기 →
강화학습 사전학습(RPT) 정리: 다음 토큰 예측을 추론 과제로 바꾼 마이크로소프트 논문
마이크로소프트의 강화학습 사전학습(RPT) 논문 해설. 다음 토큰 예측을 추론 과제로 바꿔 사전학습 말뭉치 전체를 강화학습에 쓰는 원리와 GRPO 학습 방식, 옴니매스 벤치마크 성능 결과를 정리했다.
핵심 내용 읽기 →
정렬 사전학습 실험 결과: 학습 데이터 속 AI 서사가 모델의 가치관을 실제로 바꾸는가
사전학습 데이터에 담긴 AI 묘사가 모델 행동을 바꾸는지 실증한 연구다. 6.9B 모델을 처음부터 네 가지 조건으로 학습시켜, 오정렬 담론과 정렬 담론을 각각 1%씩 넣었을 때의 차이를 직접 비교했다.
핵심 내용 읽기 →
GPT와 라마 아키텍처 비교: 6년간 LLM에서 실제로 바뀐 것과 바뀌지 않은 것
GPT-1부터 라마 3.1까지 6년을 훑으면 아키텍처 변화는 정규화 방식과 활성함수, 위치 인코딩을 손질한 정도로 의외로 작다. 정작 비용과 시간이 가장 많이 몰린 곳은 사전학습 레시피라는 점을 정리했다.
핵심 내용 읽기 →
VLM 비전 언어 모델이란 - 기존 AI와 차이, 사전학습과 파인튜닝, 활용 분야
VLM은 갑자기 등장한 기술이 아니다. 따로 발전해온 컴퓨터 비전과 자연어 처리를 왜 이제야 합치게 됐는지, 어디에 먼저 쓰일지 서울대 AI 박사의 설명으로 정리했다.
핵심 내용 읽기 →
합성 데이터와 대규모 사전학습: poolside 팀이 공개한 파이프라인과 학습 안정화 노하우
AI 코딩 모델을 만드는 poolside 팀이 오픈 웨이트 모델을 키우며 겪은 합성 데이터 설계와 대규모 학습의 무결성 문제, 그리고 그 해결책을 정리했다.
핵심 내용 읽기 →
마이크로소프트 MAI-Thinking-1 보고서 분석: 증류 없이 학습한 추론 모델의 대가
다른 모델의 출력을 베껴 쓰는 증류를 사전학습에서 거부하고 사람이 만든 데이터만으로 추론 모델을 만들었다는 마이크로소프트 기술 보고서를, 데이터 선별 기준과 실제로 치른 학습 비용, 그리고 성적표까지 함께 짚어 본다.
핵심 내용 읽기 →
LLM 파인튜닝이란: 사전학습 vs 파인튜닝, PEFT·LoRA와 파괴적 망각 피하는 법
대형 언어모델을 특정 작업에 맞추는 파인튜닝의 원리를 사전학습, 파인튜닝 루프, 전체 파인튜닝과 PEFT, 파괴적 망각, 그리고 파인튜닝이 답이 아닐 때까지 쉽게 설명합니다.
핵심 내용 읽기 →
LLM 사전학습(pretrain) 원리: 데이터 수집·토큰화·베이스 모델 완전 정리
카파시의 LLM 딥다이브를 따라가며 대형언어모델을 바닥부터 만드는 첫 단계인 사전학습을 살펴본다. 웹 크롤링과 데이터 필터링, 토큰화와 한국어의 비효율, 다음 토큰 예측과 베이스 모델의 정체를 정리한다.
핵심 내용 읽기 →
LLM 개발 3단계 정리 — 아키텍처 구축, 사전학습, 파인튜닝의 원리
대형 언어모델은 어떻게 만들어질까. 데이터 준비와 토큰화, 다음 단어 예측, GPT 계열 아키텍처, 사전학습으로 만드는 파운데이션 모델, 그리고 분류·지시·선호 파인튜닝까지 개발 3단계를 개념적으로 정리했다.
핵심 내용 읽기 →
AI 모델 학습법 정리: 사전학습·파인튜닝·RAG 차이와 활용법
AI 모델을 만드는 핵심 학습법인 사전학습, 파인튜닝, RAG의 목적과 절차, 그리고 각 방식이 언제 유용한지를 쉽게 정리했습니다.
핵심 내용 읽기 →
LLM이란 무엇인가 — 다음 단어 예측과 트랜스포머·어텐션 핵심 정리
챗봇이 답하는 원리는 의외로 단순합니다. 거대 언어 모델이 다음 단어를 어떻게 예측하고, 파라미터·사전학습·트랜스포머·어텐션이 어떤 역할을 하는지 쉽게 풀어 설명합니다.
핵심 내용 읽기 →
LLM 바닥부터 만들기 #1 사전학습 — 토큰화·데이터로더·트랜스포머 정리
대형 언어 모델을 직접 만들어 보는 과정을 사전학습 중심으로 정리합니다. 학습 데이터 준비, 토큰화, 다음 단어 예측, 마스크 셀프 어텐션, 훈련과 결과 확인까지 핵심 흐름을 짚습니다.
핵심 내용 읽기 →
AI 학습 vs 추론 차이 완전정리 — 사전학습·사후학습·서빙 비용까지
AI 모델이 만들어지는 학습 단계와 실제로 쓰이는 추론 단계를 구분해, GPU 수만 장이 어디에 어떻게 쓰이는지 쉽게 풀어 설명합니다.
핵심 내용 읽기 →
ELECTRA 사전학습 원리 정리: BERT보다 4배 효율적인 토큰 판별 방식의 비밀
ELECTRA는 마스킹된 토큰을 맞히는 대신 모든 토큰이 진짜인지 가짜인지 판별하게 해 BERT 대비 학습 연산을 약 4배 줄인다. 생성기와 판별기가 협력하는 구조, 효율 향상의 진짜 원인, 그리고 한계까지 정리했다.
핵심 내용 읽기 →
스탠퍼드 CS229로 배우는 LLM 구축: 데이터·스케일링·정렬 핵심 정리
스탠퍼드 CS229 강의로 보는 대규모 언어모델 구축의 전 과정. 사전학습과 토큰화, 평가와 스케일링 법칙, 학습 비용, 그리고 SFT·RLHF·DPO 정렬까지 핵심을 정리했다.
핵심 내용 읽기 →