AI 엔지니어링 책 요약: 파운데이션 모델·RAG·에이전트·파인튜닝 총정리

핵심 메시지

• AI 엔지니어링은 파운데이션 모델을 처음부터 훈련하는 대신 '적응(adaptation)'에 초점을 둔 빠르게 성장하는 분야다.
• 평가는 가장 저평가된 핵심 작업으로, 애플리케이션에 따라 개발 노력의 대부분을 차지할 수 있다.
• 정보 부족이 문제면 RAG를, 행동·형식이 문제면 파인튜닝을 택하고, 둘 다면 더 쉬운 RAG부터 시작한다.
• 에이전트는 도구·계획·메모리를 결합해 능동적으로 정보를 모으지만, 단계가 늘수록 오류가 누적되고 위험도 커진다.
• 파운데이션 모델은 누구나 쓰지만, 고품질 데이터셋과 사용자 피드백은 나만의 경쟁 우위가 된다.

쉽게 이해하기

이 영상은 칩 후옌의 800쪽짜리 책 'AI 엔지니어링'을 한 편으로 압축한 개관이다. AI 엔지니어링은 모델 성능이 크게 좋아지고 진입장벽이 낮아지면서 폭발적으로 성장한 분야로, 오픈AI·구글 같은 회사가 만든 파운데이션 모델 위에 애플리케이션을 얹는 일이다. 자기지도학습(self-supervision)이 데이터 레이블링 병목을 풀면서 모델은 LLM과 멀티모달 모델로 확장됐고, 대부분은 어텐션 기반 트랜스포머 구조를 쓴다.

파운데이션 모델은 내부를 알 수 없는 블랙박스이고 정답이 여러 개인 열린 문제가 많아, 평가가 전통적인 머신러닝보다 훨씬 어렵다. 참조 답안과의 정확 일치·어휘 유사도·의미 유사도 비교, 그리고 다른 AI를 심판으로 쓰는 방법(빠르고 저렴하지만 편향이 있음)이 함께 쓰인다. 모델 선택은 라이선스·크기·프라이버시 같은 '하드 속성'으로 후보를 거른 뒤 비용-성능 축에서 고르며, 상용 API와 자체 호스팅 사이의 트레이드오프도 따진다.

프롬프트 엔지니어링은 모델 가중치를 바꾸지 않는 가장 쉽고 흔한 적응 기법이지만, 다른 머신러닝 작업 못지않은 실험적 엄밀함이 필요하다. 명확한 지시, 페르소나 부여, 예시 제공, 출력 형식 지정, 복잡한 작업의 분할, '단계적으로 생각하기' 같은 추론 유도, 그리고 체계적인 반복이 핵심 전략이다. 서비스가 공개되면 프롬프트 추출·탈옥·프롬프트 인젝션 같은 공격에 대비해 가드레일과 보안 레드팀도 필요하다.

정보를 모델에 주는 두 가지 방식은 RAG와 에이전트 패턴이다. RAG는 외부 지식을 검색해 질의별 문맥을 구성하는 기법으로, 키워드 기반 검색과 임베딩(벡터) 기반 검색을 결합하고 청킹·재순위화·쿼리 재작성으로 품질을 높인다. 에이전트는 도구(지식 확장·계산·쓰기 작업), 계획, 메모리를 결합해 능동적으로 문제를 푼다. 다만 계획은 실행과 분리해 먼저 검증하고, 민감한 작업에는 사람의 개입을 두는 것이 안전하다.

파인튜닝은 강력하지만 비용이 크며, LoRA 같은 매개변수 효율적 기법과 양자화로 메모리 요구를 줄인다. 모델보다 데이터가 경쟁력이라는 '데이터 중심' 관점이 부상하는데, 적은 양의 고품질 데이터가 많은 잡음 데이터를 이긴다. 마지막으로 추론 최적화(양자화·배칭·프롬프트 캐싱·병렬화)와 함께 모델 라우팅·게이트웨이·관측·사용자 피드백 루프가 하나의 완성된 아키텍처를 이룬다.

주요 인사이트

• 평가에 대한 투자가 모델 개발에 비해 구조적으로 부족하며, 이것이 많은 AI 실패의 숨은 원인이다.
• 'AI 심판(LLM-as-judge)'은 사람만큼, 때로는 사람들 사이보다 높은 일치도를 보이지만 자기편향·위치편향·장황함편향을 갖는다.
• 검색 실패냐 행동 실패냐를 구분하는 것이 RAG와 파인튜닝 중 무엇을 쓸지 결정한다.
• 단계가 많은 에이전트는 오류가 곱해지므로 더 강한 모델과 견고한 평가 방법이 필요하다.
• 복잡성은 목적이 있을 때만 더하라 — 부품이 적은 단순한 아키텍처가 더 신뢰성 높고 유지보수가 쉽다.

자주 묻는 질문

관련 AI 소식