RAG vs 파인튜닝 vs 프롬프트 엔지니어링: LLM 성능 개선법 비교

핵심 메시지

• LLM의 답변을 개선하는 방법은 크게 RAG(검색 증강 생성), 파인튜닝, 프롬프트 엔지니어링 세 가지이며 각각 뚜렷한 장단점이 있다.
• RAG는 외부 문서를 벡터 임베딩으로 검색해 프롬프트에 보강한 뒤 답을 생성하므로 최신·도메인 정보에 강하지만, 검색 단계로 인한 지연과 인프라 비용이 든다.
• 파인튜닝은 기존 모델의 가중치를 특화 데이터로 추가 학습해 깊은 도메인 전문성을 얻고 추론이 빠르지만, 수천 개의 고품질 예시와 막대한 연산, 재학습 유지보수가 필요하고 '치명적 망각' 위험이 있다.
• 프롬프트 엔지니어링은 모델이 학습한 능력에 주의를 집중시켜 인프라 변경 없이 즉시 결과를 개선하지만, 시행착오가 많고 모델에 새로운 지식을 더하지는 못한다.
• 세 방법은 양자택일이 아니라 함께 쓰일 때가 많다. 예컨대 법률 AI는 RAG로 판례를 검색하고, 프롬프트 엔지니어링으로 문서 형식을 맞추며, 파인튜닝으로 로펌 고유 정책을 익힌다.

쉽게 이해하기

영상은 예전에 검색창에 자기 이름을 넣어보던 '구글 자기검색'의 현대판이 챗봇에게 묻는 일이라는 비유로 시작한다. 같은 질문이라도 모델마다 학습 데이터와 지식 마감 시점이 달라 답이 크게 달라진다. 그렇다면 모델의 답을 어떻게 개선할 수 있을까에 대한 세 가지 길을 제시한다.

첫 번째는 RAG(검색 증강 생성)다. 검색(retrieval)·보강(augmentation)·생성(generation) 세 단계로 이뤄지며, 질문과 문서를 모두 벡터 임베딩으로 바꿔 키워드가 아니라 의미가 비슷한 문서를 찾는다. 예를 들어 '지난 분기 매출 성장'을 물으면 '4분기 실적'이나 '분기 매출'처럼 단어는 달라도 의미가 가까운 문서를 찾아 원래 질문에 보강한 뒤 답을 생성한다. 덕분에 최신 정보나 조직 내부 문서 같은 도메인 정보에 강하지만, 검색 단계가 지연을 더하고 임베딩 생성·벡터 DB 저장에 따른 처리·인프라 비용이 든다.

두 번째는 파인튜닝이다. 넓은 지식을 가진 기존 모델에 집중된 데이터로 추가 학습을 시켜 특정 분야의 전문성을 갖추게 한다. 보통 입력-출력 쌍을 주는 지도 학습으로 진행되며, 역전파를 통해 예측과 목표 응답의 차이를 줄이도록 가중치를 조금씩 조정한다. 새로운 사실을 가르치는 데 그치지 않고 정보를 처리하는 방식 자체를 바꿔 도메인 패턴을 익히게 한다.

파인튜닝은 깊은 도메인 전문성이 필요할 때 강하고, 외부 데이터를 검색하지 않으며 별도 벡터 DB도 필요 없어 추론 시점이 RAG보다 빠르다. 다만 수천 개의 고품질 예시가 필요하고 학습에 많은 GPU가 들며, 새 문서를 손쉽게 추가하는 RAG와 달리 업데이트하려면 다시 학습해야 한다. 무엇보다 특화 능력을 배우다 일반 능력을 잃는 '치명적 망각(catastrophic forgetting)' 위험이 있다.

세 번째는 프롬프트 엔지니어링이다. 모델은 프롬프트를 어텐션 계층들로 처리하는데, 예시·맥락·원하는 형식을 명시하면 학습한 관련 패턴에 주의를 집중시킬 수 있다. '단계별로 생각하라'는 지시가 체계적 추론 패턴을 활성화하는 식이다. 인프라 변경 없이 즉시 결과를 얻을 수 있지만, 효과적인 프롬프트를 찾는 데 시행착오가 따르고 기존 지식 범위를 벗어나는 새로운 정보를 더할 수는 없다. 영상은 세 방법이 흔히 함께 쓰인다는 점을 강조하며, 유연성(프롬프트 엔지니어링)·최신 지식 확장(RAG)·깊은 전문성(파인튜닝)이라는 각자의 강점을 상황에 맞게 고르라고 정리한다.

주요 인사이트

• RAG는 모델 자체를 바꾸지 않고 외부 지식을 끌어와 보강하므로, 자주 바뀌는 최신 정보나 사내 문서를 다룰 때 특히 유리하다.
• 파인튜닝은 지식을 모델 가중치에 '구워 넣어' 추론을 빠르게 하지만, 유지보수 부담과 치명적 망각이라는 본질적 비용을 동반한다.
• 프롬프트 엔지니어링은 비용이 가장 적고 즉시 적용 가능하지만, 모델이 본래 갖지 않은 지식을 만들어내지는 못한다는 한계가 분명하다.
• 세 방법은 경쟁 관계가 아니라 보완 관계다. 실제 시스템에서는 RAG·프롬프트 엔지니어링·파인튜닝을 조합해 각 약점을 메운다.
• RAG의 핵심은 키워드 매칭이 아니라 의미적 유사도 검색이라는 점으로, 임베딩이 단어의 의미를 숫자로 포착하기에 가능하다.

자주 묻는 질문

관련 AI 소식