빔서치 디코딩 완전 정리: 그리디 디코딩의 반복 함정부터 다양성 변형과 빔서치의 저주까지
CMU 고급 자연어처리 강의를 바탕으로 빔서치의 작동 원리와 길이 정규화 방법, 다양성 빔서치·확률적 빔서치 같은 변형, 그리고 빔 폭을 키울수록 오히려 품질이 떨어지는 '빔서치의 저주'라는 역설까지 정리했습니다.
핵심 내용 읽기 →
AI TOPIC
디코딩 최신 뉴스와 핵심 해설
디코딩 관련 핵심 뉴스와 활용 인사이트 6편을 최신순으로 모았습니다.
LLM 디코딩 탐색 알고리즘 정리: 그리디·빔서치·A*와 최적 탐색이 어려운 이유 (CMU 강의)
CMU 그레이엄 뉴빅의 LLM 추론 강의가 그리디 탐색과 빔서치부터 A*, 최선 우선 빔서치까지 정리한다. 모델이 좋아진 지금 왜 다시 제대로 탐색할 때인지, 언어모델에 최적 탐색이 어려운 이유는 무엇인지 짚었다.
핵심 내용 읽기 →
LLM 샘플링 기법 정리: 온도·top-k·top-p부터 국소 전형성 샘플링까지 CMU 강의 해설
CMU 고급 자연어처리 강의에서 아만다 버치가 언어모델을 확률분포로 보는 관점부터 온도 조절, top-k, top-p, 엡실론, 국소 전형성 샘플링까지 비교하며 상황에 맞는 디코딩 전략을 고르는 기준을 설명한다.
핵심 내용 읽기 →
LLM 제약 생성 총정리: JSON 문법 강제, 토큰 힐링, FUDGE와 대조 디코딩
CMU 대학원 강의에서 다룬 LLM 생성 제어 기법을 정리했다. 상태 기계로 JSON을 강제하는 방식과 그 이론적 한계, 토큰 힐링, 그리고 의미 제약을 다루는 FUDGE와 대조 디코딩까지 짚는다.
핵심 내용 읽기 →
LLM JSON 출력 강제하기: 문법 제약 디코딩이 프롬프트보다 확실한 이유와 한계
LLM에 “올바른 JSON을 반환하라”고 지시해도 깨진 출력은 나온다. 토큰 점수와 샘플러 사이에 문법 상태를 끼워 넣어 불가능한 토큰을 아예 차단하는 문법 제약 디코딩의 작동 원리와 그 보장의 경계를 정리했다.
핵심 내용 읽기 →
대규모 언어 모델(LLM) 원리: 다음 단어 예측·인과적 어텐션·디코딩·BPE 토큰화
MIT 강의로 보는 LLM의 작동 원리. 다음 단어 예측 학습, 미래를 못 보게 막는 인과적 어텐션, 그리디·탑K·탑P·온도 같은 디코딩 전략, 그리고 바이트 페어 인코딩(BPE) 토큰화를 차근차근 설명한다.
핵심 내용 읽기 →