LLM 제약 생성 총정리: JSON 문법 강제, 토큰 힐링, FUDGE와 대조 디코딩
CMU 대학원 강의에서 다룬 LLM 생성 제어 기법을 정리했다. 상태 기계로 JSON을 강제하는 방식과 그 이론적 한계, 토큰 힐링, 그리고 의미 제약을 다루는 FUDGE와 대조 디코딩까지 짚는다.
핵심 내용 읽기 →
AI TOPIC
구조화 출력 최신 뉴스와 핵심 해설
구조화 출력 관련 핵심 뉴스와 활용 인사이트 9편을 최신순으로 모았습니다.
LLM JSON 출력 강제하기: 문법 제약 디코딩이 프롬프트보다 확실한 이유와 한계
LLM에 “올바른 JSON을 반환하라”고 지시해도 깨진 출력은 나온다. 토큰 점수와 샘플러 사이에 문법 상태를 끼워 넣어 불가능한 토큰을 아예 차단하는 문법 제약 디코딩의 작동 원리와 그 보장의 경계를 정리했다.
핵심 내용 읽기 →
OpenAI API 프로덕션 배포 가이드: 모더레이션·입력 검증·함수 호출·구조화 출력
프롬프트 인젝션과 JSON 파싱 오류로 무너지는 AI 앱을 막는 네 가지 방어선, 그리고 지수 백오프 재시도와 사용자별 비용 통제, 속성 기반 평가 하니스까지 실서비스 배포 전에 점검해야 할 파이프라인을 단계별로 정리했다.
핵심 내용 읽기 →
파이단틱 입문 정리: 파이썬 타입 힌트 검증부터 LLM 구조화 출력 활용까지 한 번에
파이썬 데이터 검증 라이브러리 파이단틱의 기본기를 한 편으로 정리했다. 타입 힌트와 Field 제약, 중첩 모델과 설정 관리, 그리고 언어 모델의 구조화 출력을 안정적으로 받아 내는 방식까지 다룬다.
핵심 내용 읽기 →
LLM 구조화 출력 원리 — 정규식과 유한 상태 기계로 JSON 형식을 보장하는 방법
LLM에 JSON을 요청하면 형식이 조금씩 어긋나 후처리가 필요하다. 정규식과 유한 상태 기계로 형식을 강제하는 구조화 출력의 작동 원리, 문맥 자유 문법과 토큰 불일치 문제, 그리고 형식을 조일수록 정확도가 떨어지는 역설을 정리했다.
핵심 내용 읽기 →
소형 언어 모델 파인튜닝 실전: 로컬 합성 데이터 생성부터 평가와 하네스 설계까지
1억 3500만 파라미터 모델을 내 문서 전용 일꾼으로 바꾸는 전 과정을 따라간다. 로컬 모델과 제약 디코딩으로 합성 데이터를 만들고, 학습과 평가를 거쳐 하네스로 감싸 실제 서비스에 쓰는 방법까지 정리했다.
핵심 내용 읽기 →
AI 에이전트 만들기 — 프레임워크 과대광고 대신 7가지 핵심 빌딩블록
랭체인 같은 프레임워크 과대광고를 걷어내고, 도구에 상관없이 통하는 7가지 기초 빌딩블록으로 신뢰할 수 있는 AI 에이전트를 설계하는 방법을 정리했다.
핵심 내용 읽기 →
순수 파이썬 AI 에이전트 만들기 — 구조화 출력·도구 호출·워크플로 패턴 정리
복잡한 프레임워크 없이 LLM API와 파이썬만으로 AI 에이전트를 만드는 법. 구조화 출력, 도구 호출, 프롬프트 체이닝·라우팅·병렬화 패턴을 단계별로 설명한다.
핵심 내용 읽기 →
프롬프트 엔지니어링 완전정복: 역할·예시·구조화 출력 등 핵심 기법 정리
같은 LLM에서도 지시 방식에 따라 결과가 크게 갈립니다. 역할 지정, few-shot, 사고의 사슬, 구조화 출력, 인터뷰 방식 등 결과를 끌어올리는 프롬프트 기법을 예시와 함께 정리했습니다.
핵심 내용 읽기 →