RAG 검색 2단계와 툴 호출, 에이전트 루프까지 스탠퍼드 CME295 7강 핵심 정리

핵심 메시지

• LLM은 학습 데이터의 컷오프 이후를 알지 못하지만, 지식을 넣겠다고 모델을 다시 학습시키면 다른 능력이 함께 망가지기 쉬워 실무에서는 피한다.
• 새 정보를 프롬프트에 통째로 넣는 방식은 컨텍스트 길이 제한, 토큰 비용, 그리고 긴 프롬프트에서 정작 필요한 사실을 놓치는 현상 때문에 해법이 되지 못한다.
• RAG의 성패는 검색 단계에 달려 있고, 검색은 임베딩 유사도로 후보를 넓게 걸러내는 단계와 크로스 인코더로 순위를 다시 매기는 단계로 나뉜다.
• 툴 호출은 함수 설명서를 프롬프트 앞에 붙이고 LLM이 인자만 채우게 한 뒤, 실행 결과를 다시 넣어 자연어 답을 만들게 하는 3단계 구조다.
• 에이전트는 툴 호출에 관찰·계획·행동 루프를 얹은 것이며, 행동 능력이 커진 만큼 데이터 유출 같은 새로운 안전 위험도 함께 커진다.

쉽게 이해하기

스탠퍼드 CME295 강의의 일곱 번째 시간은 지금까지 혼자 학습되고 혼자 추론하던 LLM을 바깥 시스템과 이어 붙이는 실전 기법을 다룬다. 강의는 먼저 모든 상용 모델의 모델 카드에 적혀 있는 '지식 컷오프' 날짜를 보여 주며 문제를 정의한다. 컷오프 이후에 벌어진 일을 물으면 모델은 모른다고 답하거나 틀린 답을 내놓는다.

그렇다면 최신 데이터를 계속 학습시키면 되지 않느냐는 질문에 강의는 두 가지 이유로 고개를 젓는다. 하나는 지식만 골라 바꾸면서 다른 능력이 퇴행하지 않게 하기가 매우 까다롭다는 점이고, 다른 하나는 용도별로 파인튜닝한 모델이 여러 개라면 그때마다 같은 작업을 반복해야 한다는 유지보수 부담이다. 새 정보를 프롬프트에 몽땅 붙이는 방법도 답이 아니다. 컨텍스트가 수십만 토큰이라 해도 책 몇 백 쪽 분량에 불과하고, 무관한 정보가 섞이면 모델이 오히려 헷갈리며, 입력 토큰만큼 비용이 붙는다.

그래서 등장하는 것이 필요한 조각만 찾아 프롬프트에 덧붙이는 RAG다. 강의는 문서를 수백 토큰짜리 청크로 나눠 임베딩을 만들어 두는 지식 베이스 구축 단계부터, 청크 크기와 임베딩 차원, 청크 간 겹침 같은 하이퍼파라미터의 절충을 설명한다. 검색은 두 단계로 진행된다. 먼저 코사인 유사도로 수많은 청크에서 100여 개 후보를 남기고, 이어 질의와 청크를 함께 인코더에 넣는 크로스 인코더로 순위를 다시 매긴다.

의미가 비슷한 문서를 찾는 임베딩 검색은 정작 질의에 들어 있는 고유명사를 놓칠 수 있다. 강의는 이름이 서로 다른 두 곰 인형 예시로 이 한계를 보여 주고, 단어 겹침을 점수화하는 BM25를 함께 쓰는 하이브리드 검색을 소개한다. 청크가 문맥에서 잘려 뜻이 흐려지는 문제는 문서 전체를 참고해 짧은 설명을 앞에 붙이는 방식으로 완화하는데, 이때 늘어나는 LLM 호출 비용은 같은 접두어의 계산 결과를 재사용하는 프롬프트 캐싱으로 낮춘다.

후반부는 구조화된 기능을 부르는 툴 호출로 넘어간다. 모델에게는 함수 구현이 아니라 이름과 입출력, 설명만 보여 주고 인자를 채우게 한 뒤, 실행 결과를 다시 넣어 자연어 답을 만들게 한다. 도구가 많아지면 프롬프트가 비대해지므로 먼저 후보 도구를 고르는 선택기를 두고, 도구 정의 방식이 모델마다 제각각인 문제는 MCP 같은 표준으로 푼다. 마지막으로 관찰·계획·행동을 반복하는 ReAct 방식의 에이전트와, 그 능력이 커질수록 함께 커지는 안전 문제를 다룬다.

주요 인사이트

• 검색이 잘못되면 그 뒤 단계가 아무리 좋아도 답이 틀린다. 강의가 RAG 시간의 대부분을 검색기 설계와 평가에 쓰는 이유이며, 성능은 NDCG, 역순위, 상위 k에서의 재현율과 정밀도로 수치화한다.
• 임베딩 검색과 키워드 검색은 대체재가 아니라 보완재다. 뜻이 비슷한 문서를 찾아야 할 때와 특정 단어가 반드시 들어가야 할 때는 서로 다른 도구가 필요하다.
• 질의는 짧은 질문이고 문서는 긴 서술이라 같은 인코더로 임베딩하면 서로 비교하기 어색해진다. 가짜 문서를 먼저 생성해 그것을 임베딩하는 우회법이 나온 배경이다.
• 도구를 무제한으로 붙이면 오히려 성능이 떨어진다. 컨텍스트가 유한하고 비슷한 API가 섞이면 모델이 무엇을 써야 할지 헷갈리기 때문에, 도구 선택기로 후보를 좁히는 설계가 필요하다.
• 강연자는 코딩 보조가 지금 가장 쓸모 있는 에이전트 활용이라면서도, 코드 생성은 싸졌지만 그 코드가 옳은지 판단하는 일은 여전히 어렵다며 기초를 익히라고 당부한다.

자주 묻는 질문

관련 AI 소식