테스트 타임 스케일링 이론 분석: 백트래킹 알고리즘 VGB가 검증자 오차를 넘어서는 방법
프로세스 보상 모델의 오차가 답변이 길어질수록 증폭돼 액션 단위 리젝션 샘플링의 성능에 넘을 수 없는 한계를 만든다는 점을 이론으로 보이고, 되돌아가기를 섞은 새 알고리즘 VGB로 그 한계를 넘는 논문 리뷰를 정리했다.
핵심 내용 읽기 →
AI TOPIC
샘플링 최신 뉴스와 핵심 해설
샘플링 관련 핵심 뉴스와 활용 인사이트 4편을 최신순으로 모았습니다.
LLM 추론의 기초: 온도 샘플링과 메타 생성 알고리즘을 CMU 강의 코드로 정리하기
카네기멜런대 LLM 추론 수업이 조건부 확률과 온도 샘플링, 잠재변수로서의 사고의 사슬, 재랭킹 메타 생성까지 언어모델 생성 원리를 코드 시연으로 짚었다. 온도를 0으로 두어도 결과가 매번 달라지는 이유도 함께 설명한다.
핵심 내용 읽기 →
LLM 샘플링 기법 정리: 온도·top-k·top-p부터 국소 전형성 샘플링까지 CMU 강의 해설
CMU 고급 자연어처리 강의에서 아만다 버치가 언어모델을 확률분포로 보는 관점부터 온도 조절, top-k, top-p, 엡실론, 국소 전형성 샘플링까지 비교하며 상황에 맞는 디코딩 전략을 고르는 기준을 설명한다.
핵심 내용 읽기 →
LLM 디코딩 전략 완전 정리: 그리디·랜덤·탑K·탑P·온도·민P 샘플링과 빔서치까지
ChatGPT 같은 대규모 언어모델이 매 단계 확률에서 실제 토큰을 골라내는 디코딩 전략을 그리디·랜덤·탑K·탑P·온도·민P·반복 페널티·빔서치로 나눠, 일관성과 창의성의 균형 관점에서 쉽게 풀이한다.
핵심 내용 읽기 →