언어 모델 긴 추론의 오류 누적과 지평의 저주: 값 유도 백트래킹과 모듈식 머신러닝 이론
MIT 박사과정 연구자가 TTIC 강연에서 언어 모델의 긴 추론이 오류를 누적하는 '지평의 저주'를 설명하고, 되돌아가기를 허용한 무작위 걸음 알고리즘으로 이를 완화하는 이론적 보장과 실험 결과를 제시했다.
핵심 내용 읽기 →
AI TOPIC
머신러닝 이론 최신 뉴스와 핵심 해설
머신러닝 이론 관련 핵심 뉴스와 활용 인사이트 4편을 최신순으로 모았습니다.
몬테카를로 강화학습 입문: 블랙잭 예제로 배우는 모델 프리 학습과 오프폴리시 기법
환경의 전이 확률을 모르는 상태에서 궤적 표본만으로 최적 전략을 찾아내는 몬테카를로 강화학습의 원리를, 블랙잭 예제와 상수 스텝 사이즈, 탐색-활용 균형, 오프폴리시 기법의 분산 문제까지 단계별로 정리했다.
핵심 내용 읽기 →
플로우 매칭·확산 모델 학습 목표 만들기 — MIT 6.S184 강의로 보는 확률 경로와 벡터장, 스코어 함수
MIT 6.S184 두 번째 강의는 확산·플로우 모델의 학습 목표를 직접 만들어 낸다. 정답 라벨이 없는 상황에서 조건부 확률 경로와 벡터장, 스코어 함수라는 여섯 개 대상을 세우고 이를 주변화해 노이즈에서 데이터로 가는 길을 구성한다.
핵심 내용 읽기 →
확산 모델 샘플링 속도의 수학, 고차 ODE 솔버 수렴 분석 연구
이미지 생성에 쓰이는 확산 모델의 샘플링 단계를 수천 번에서 열 번 안팎으로 줄여주는 고차 ODE 솔버가 왜 정확한지, 그 오차 한계를 처음으로 정리한 연구 발표를 소개한다.
핵심 내용 읽기 →