LLM 파인튜닝 vs RAG vs LoRA, 지금도 파인튜닝이 필요한 경우는 언제인가

핵심 메시지

• 2023년에는 특정 분야 데이터로 파인튜닝한 모델이 범용 모델을 압도했지만, 2025년 자체 벤치마크에서는 파인튜닝을 전혀 받지 않은 범용 모델 일곱 개가 그 맞춤 모델을 앞질렀다.
• 컨텍스트 창 확대, 추론 모델의 등장, 추론 비용 하락이라는 세 가지 변화가 범용 모델과 맞춤 모델의 격차를 좁혔다.
• 모델 가중치를 건드리지 않고도 RAG, 컨텍스트 엔지니어링, 에이전트 스킬로 전문가처럼 행동하게 만들 수 있다.
• 오늘날 현업에서 파인튜닝이라 부르는 작업의 상당수는 기존 가중치를 잠근 채 작은 어댑터만 학습하는 LoRA 계열이다.
• 실시간 응답 속도, 증류를 통한 소형화, 채점 가능한 과제의 강화 파인튜닝처럼 다른 방법으로 풀리지 않는 병목이 있을 때만 파인튜닝을 선택하는 것이 합리적이다.

쉽게 이해하기

IBM 테크놀로지 채널은 한 법률 AI 기업의 사례로 이야기를 연다. 이 회사는 2023년 프런티어 연구소와 함께 자사 전용 모델을 파인튜닝했고, 변호사들을 대상으로 한 블라인드 테스트에서 당시 최강 모델이던 GPT-4보다 97%의 비율로 선택받았다. 특정 업무에 범용 모델이 맞지 않으면 파인튜닝하면 된다는 결론이 자연스러워 보이는 결과였다.

그러나 같은 회사가 2025년에 자체 법률 벤치마크를 만들어 최신 범용 모델들과 비교하자 상황이 뒤집혔다. 법률 데이터로 별도 학습을 받은 적이 없는 범용 모델 일곱 개가 이 회사의 맞춤 모델을 앞섰다. 금융 데이터로 처음부터 학습한 블룸버그GPT 역시 이후 평가에서 GPT-4와 챗GPT에 여러 금융 벤치마크 성능을 내주었다.

영상은 그 이유를 세 가지로 짚는다. 첫째, GPT-3 시절 2천 토큰이던 컨텍스트 창이 지금은 100만 토큰을 넘나들면서 수백 페이지 분량 문서를 프롬프트에 그대로 넣을 수 있게 됐다. 둘째, 추론 모델은 학습 시점이 아니라 질문을 받은 순간 단계적으로 오래 생각한다. 셋째, 추론 비용이 계속 싸지고 있어 맞춤 모델을 완성할 즈음이면 다음 프런티어 모델이 이미 그것을 넘어서 있는 일이 반복된다.

가중치를 건드리지 않는 대안도 층층이 쌓여 있다. 문서를 모델에 학습시키는 대신 질의 시점에 검색해 프롬프트에 넣는 RAG, 시스템 프롬프트와 관련 데이터·형식 지침을 하나의 묶음으로 설계하는 컨텍스트 엔지니어링, 그리고 절차적 지식과 사용할 도구를 파일 묶음으로 정리해 모델이 필요할 때 불러 쓰는 에이전트 스킬이다. 특정 스키마에 맞는 SQL 작성법을 모델에 학습시키는 대신, SQL 스킬 하나를 만들어 어떤 범용 모델에나 붙이는 식이다.

그렇다고 파인튜닝이 사라진 것은 아니다. 다만 이유가 좁아졌다. 전화를 받는 음성 에이전트처럼 실시간 응답이 관건이면 오래 생각하는 프런티어 모델은 너무 느리다. 큰 모델의 고품질 출력을 뽑아 작은 모델에 학습시키는 증류, 정답을 프로그램으로 채점할 수 있을 때 채점기 점수를 높이는 방향으로 모델을 갱신하는 강화 파인튜닝도 여전히 유효한 선택지다.

주요 인사이트

• 맞춤 모델의 우위는 영구적이지 않다. 프런티어 모델이 몇 달 단위로 갱신되는 동안 파인튜닝 결과물은 고정돼 있어, 성능 비교의 기준선 자체가 계속 움직인다.
• 파인튜닝 비용은 학습 실행에만 있지 않다. 예시 데이터 수집, 결과 평가, 성능 퇴행 방지, 그리고 프런티어 모델이 앞서 나갈 때마다 맞춤 모델을 유지·보수하는 비용이 계속 따라붙는다.
• 지식이 부족한 문제와 절차를 모르는 문제는 처방이 다르다. 최신·비공개 지식이 문제라면 RAG를, 일하는 방법 자체가 빠져 있다면 에이전트 스킬을 먼저 검토하는 편이 낫다.
• 강화 파인튜닝은 정답을 기계적으로 채점할 수 있는 영역에서만 작동한다. 정답이 모호한 업무에서는 이 방법 자체를 쓸 수 없다는 점이 적용 범위를 크게 제한한다.
• 영상이 제시하는 판단 순서는 기본 모델에서 시작해 프롬프트·컨텍스트 설계, RAG, 에이전트 스킬을 차례로 얹고, 그래도 남는 병목이 있을 때 비로소 파인튜닝을 검토하는 것이다.

자주 묻는 질문

관련 AI 소식