추론 모델로 리서치 에이전트 만들기: 멀티홉 질문, 웹검색·RAG 도구 연결과 관측의 실제

핵심 메시지

• 모델 자체 지식만 믿으면 사실이 틀린 답을 자신 있게 내놓기 때문에 외부 정보원을 붙이는 일이 출발점이다.
• 'GPT-4를 만든 회사의 대표는 누구인가' 같은 멀티홉 질문은 두 단계를 이어 붙여야 답이 나오고, 조건이 여럿 겹치면 난도가 급격히 올라간다.
• 추론 기능을 끄면 30초 만에 그럴듯한 답이 나오지만, 켜면 시간을 더 쓰는 대신 답의 질이 눈에 띄게 좋아진다.
• 도구는 질의를 받아 결과를 돌려주는 단순한 함수로 감싸면 되고, 최근 모델은 도구 형태를 가리지 않는다.
• 실습 몇 번은 브라우저로 충분하지만 횟수가 늘면 관측 도구로 실행 과정을 들여다볼 수 있어야 한다.

쉽게 이해하기

데이터 과학자 라지브 샤가 노트북 하나를 놓고 추론 모델로 리서치 어시스턴트를 만드는 과정을 처음부터 보여준다. 코드를 그대로 따라 하는 것이 목적이 아니라, 각 단계에서 무엇을 저울질해야 하는지를 설명하는 데 무게를 뒀다. 시작은 도구 점검이다. 노트북 깊숙이 들어간 뒤에야 설정이 잘못된 것을 발견하는 일이 없도록 웹검색과 문서 검색이 실제로 응답하는지부터 확인하라고 권한다.

이어서 질문의 종류를 나눈다. '오픈AI의 대표는 누구인가'처럼 정보 하나만 필요한 단일 홉 질문이 있고, '지피티-4를 만든 회사를 이끄는 사람은 누구인가'처럼 두 단계를 이어야 하는 멀티홉 질문이 있다. 여기에 상장사 목록을 걸러 대표의 성별로 추리고 매출 성장률을 특정 연도와 비교하는 식으로 조건이 겹치면, 많은 모델이 사실상 손을 든다. 발표자는 자체 지식만으로 답하게 두면 틀린 사실을 만들어 낸다는 점도 실제 응답으로 보여준다.

실습에는 아그노(Agno) 프레임워크를 썼다. 같은 코드에서 모델만 바꿔 끼울 수 있어 비교 시연에 편하다는 이유인데, 프레임워크는 변화가 잦아 프로덕션에서 깨질 수 있으니 조심하라는 단서를 붙인다. 같은 질의를 추론 기능 없이 돌리면 30초 만에 길고 그럴듯한 답이 나오지만, 추론을 켜면 모델이 질의를 하위 과제로 쪼개는 과정이 그대로 드러나고 결과도 더 낫다. 앤스로픽과 오픈AI 양쪽의 저렴한 모델로 같은 흐름을 재현해 보인다.

외부 지식은 두 갈래로 들어온다. 하나는 공개되지 않은 사내 문서를 잘게 나눠 검색해 모델 문맥에 넣는 검색 증강 생성이고, 다른 하나는 웹검색이다. 어느 쪽이든 질의를 받아 검색 결과를 돌려주는 단순한 함수로 감싸면 되며, 사내 API처럼 쓸 만한 정보원이 있다면 같은 방식으로 붙일 수 있다는 설명이다.

인상적인 장면은 '내일 뭐 입을까'라는 질문이다. 강력한 웹검색 도구가 있어도 모델은 위치와 날씨 정보가 없다는 사실을 스스로 알아채고 멈춘다. 질문에 도시를 더해 주자 예보를 조회하고 그 결과를 해석해 옷차림을 제안한다. 마지막으로 발표자는 실행 횟수가 늘어나면 랭퓨즈 같은 오픈소스 관측 도구에 연결해 추론 과정을 추적하라고 권한다.

주요 인사이트

• 평가 대상 질의는 자신이 잘 아는 주제로 고르라는 조언이 실용적이다. 모르는 분야의 긴 응답은 옳고 그름을 판단할 기준이 없어 개선의 실마리를 주지 못한다.
• 추론 기능의 가치는 정답률 자체보다 과정의 가시성에 있다. 어떤 하위 질의를 던졌는지 볼 수 있어야 결과가 왜 좋아졌는지 설명할 수 있다.
• 도구가 있다고 무조건 호출하지 않고 정보가 부족하면 되묻는 행동은, 에이전트 설계에서 실패를 줄이는 실질적인 안전장치가 된다.
• 프레임워크는 비교 실험을 빠르게 하는 도구이지 운영 환경의 기본값이 아니다. 시연의 편의와 운영의 안정성을 분리해 판단해야 한다.
• 실습 단계와 운영 단계를 가르는 기준이 관측이다. 몇 번의 호출은 눈으로 확인할 수 있지만, 반복되면 추적 가능한 기록이 있어야 한다.

자주 묻는 질문

관련 AI 소식