LLM 스케일링 법칙 정리: 카플란과 친칠라가 말하는 파라미터와 데이터 배분, 그리고 오버트레이닝
작은 모델 실험만으로 큰 모델의 성능을 예측하는 스케일링 법칙을 정리했다. 데이터와 파라미터의 멱법칙, 임베딩 제외 규칙, 크리티컬 배치 사이즈, 카플란에서 친칠라로 이어진 연산 배분 논쟁까지 짚는다.
핵심 내용 읽기 →
AI TOPIC
모델 학습 최신 뉴스와 핵심 해설
모델 학습 관련 핵심 뉴스와 활용 인사이트 7편을 최신순으로 모았습니다.
딥러닝 모델 디버깅 순서 정리: 조용한 실패를 데이터·모델·손실·학습 루프 네 후보로 좁히는 방법
카네기멜런대 딥러닝 수업 실습에서 소개한 모델 디버깅 절차를 정리했다. 에러도 경고도 없이 학습만 진행되고 성능은 나오지 않는 조용한 실패를 데이터·모델·손실·학습 루프 네 곳으로 좁혀가는 순서와 점검 기법을 다룬다.
핵심 내용 읽기 →
지속 학습(Continual Learning) 확장 방법: 온폴리시 자기증류가 강화학습의 네 가지 한계를 푸는 방식
AI Engineer 발표에서 트래젝토리의 로낙 말데가 벤치마크 중심 강화학습의 한계를 짚고, 힌트를 받은 자기 자신을 교사로 삼는 온폴리시 자기증류로 지속 학습을 확장한 과정과 부작용 대응법을 설명했다.
핵심 내용 읽기 →
스케일링 법칙 강의 정리: 스탠퍼드 CS336이 설명하는 카플란과 친칠라의 결론 차이
스탠퍼드 CS336의 스케일링 법칙 강의를 정리했습니다. 거듭제곱 법칙의 통계적 뿌리부터 데이터 혼합과 임계 배치 크기 적용까지 짚고, 카플란과 친칠라의 유명한 불일치가 왜 생겼는지 하나씩 뜯어봅니다.
핵심 내용 읽기 →
하이퍼 커넥션과 mHC 해설: 트랜스포머 잔차 연결을 학습 가능하게 바꾼 방법과 안정화 기법
깊은 신경망을 떠받쳐 온 잔차 연결은 오랫동안 형태가 고정돼 있었다. 연결의 세기까지 학습하는 하이퍼 커넥션과, 그 과정에서 생기는 학습 불안정을 이중 확률 행렬로 잡아낸 개선안을 차근차근 정리했다.
핵심 내용 읽기 →
Float32 Float16 BFloat16 차이: 딥러닝 부동소수점 정밀도 쉽게 이해하기
딥러닝에서 쓰이는 부동소수점 데이터 타입 Float32, Float16, BFloat16의 비트 구조와 범위·정밀도 차이, 그리고 역전파에서 변환이 왜 중요한지를 자막 내용을 바탕으로 정리했다.
핵심 내용 읽기 →
조기 종료(Early Stopping)란? 검증 손실로 과적합을 자동으로 막는 4가지 구성 요소
조기 종료는 검증 손실이 다시 증가하기 시작하는 변곡점에서 학습을 멈춰 과적합을 막는 정규화 기법이다. 검증 세트, 성능 지표, 최적 가중치 저장, 정지 트리거라는 4가지 구성 요소와 인내(patience) 개념까지 쉽게 정리했다.
핵심 내용 읽기 →