프롬프트 엔지니어링 vs RAG vs 파인튜닝: 차이와 사용 시점 정리

핵심 메시지

• 프롬프트 엔지니어링은 사전학습된 LLM의 능력을 더 상세한 지시로 끌어내는 방식이다.
• RAG는 외부 벡터 데이터베이스를 '책가방'처럼 붙여, 최신·독점 정보를 검색해 답에 반영한다.
• 파인튜닝은 자체 데이터로 모델 가중치를 다시 학습시켜 원하는 방식대로 동작하게 만든다.
• 최신·도메인 특화 정보가 필요하면 RAG, 조직 목표에 맞춰 챗봇 전반을 길들이려면 파인튜닝이 적합하다.
• 파인튜닝은 GPU·데이터 준비 비용이 크고, RAG는 DB 조회 비용이, 프롬프트 엔지니어링은 반복 시행착오 부담이 따른다.

쉽게 이해하기

강연자는 생성형 AI 개발에서 자주 혼동되는 세 가지, 즉 프롬프트 엔지니어링·RAG·파인튜닝의 차이와 '언제 무엇을 쓰는가'를 다섯 살 아이도 이해할 수준으로 설명하겠다고 시작한다. 세 개의 로봇 비유가 중심 장치다.

첫 번째 로봇은 프롬프트 엔지니어링이다. 아이가 '고양이에 대해 알려줘'라고 물으면 일반적인 답이 나오지만, '재미있는 사실 하나만, 노는 걸 좋아하는지'처럼 더 명확하고 맥락을 담은 질문을 하면 더 나은 답을 얻는다. 즉 사전학습된 모델에 'AI 교사 역할을 맡아 구조화된 형식으로 답하라'처럼 상세한 프롬프트를 줘서 모델이 이미 가진 능력을 최대한 끌어내는 방식이다.

두 번째 로봇은 책가방을 멘 RAG다. 로봇은 일반 지식도 알지만, 답하기 전에 가방 속 책(외부 정보)을 참고해 더 정확하게 답한다. LLM에 질의가 들어오면 질문을 벡터로 변환하고, 벡터 DB에서 유사도 검색으로 관련 맥락을 가져온 뒤 프롬프트와 결합해 답을 생성한다. 회사 휴가 정책처럼 수시로 바뀌고 모델이 학습하지 않은 정보를 다룰 때 특히 유용하며, 에이전틱 RAG·적응형 RAG·교정형 RAG 같은 변형도 있다.

세 번째 로봇은 자비스, 곧 파인튜닝이다. '톰'이라는 아이에게 선물하려고 톰이 좋아하는 것들로 로봇을 훈련시키듯, 사전학습된 LLM을 조직의 데이터로 다시 학습시킨다. 트랜스포머 신경망의 가중치가 새 데이터로 바뀌면서, 모델이 원하는 말투와 방식대로 동작하게 된다.

마지막으로 비용과 선택 기준을 정리한다. 파인튜닝은 GPU 비용과 재배포·관리·검증 팀, 데이터 준비 부담이 크다. RAG는 DB를 조회하고 맥락을 가져오는 비용이 든다. 프롬프트 엔지니어링은 가장 단순하지만, 만족스러운 결과가 나올 때까지 프롬프트를 계속 다듬는 시행착오가 따른다.

주요 인사이트

• 세 기법은 대립 관계가 아니라 상황에 따라 골라 쓰는 도구다. 핵심은 '어떤 유스케이스에 무엇이 맞는가'를 이해하는 것이다.
• RAG의 강점은 항상 최신 정보를 반영할 수 있다는 점이다. 정책 문서처럼 자주 갱신되는 데이터를 벡터 DB에 넣고 AI 비서에 연결하면 된다.
• 파인튜닝의 강점은 인사말부터 회사 정보 안내까지 챗봇 전반을 조직 목표에 맞춰 일관되게 길들일 수 있다는 점이다. 다만 그만큼 비용이 크다.
• 프롬프트 엔지니어링은 사전학습 모델 안에 이미 필요한 지식이 있을 가능성이 높은 작업, 빠른 개선과 모델 역량 탐색에 적합하다.
• RAG는 벡터 DB뿐 아니라 문서 데이터베이스 등 다양한 외부 저장소를 '외부 데이터'로 활용할 수 있다.

자주 묻는 질문

관련 AI 소식