AI 에이전트 평가 방법: 하버(Harbor)가 말하는 환경·롤아웃·검증기와 사내 eval 구축 전략

핵심 메시지

• 실행 전에 코드가 무엇을 할지 알 수 있던 시대가 소프트웨어 공학이었다면, 모델 호출이 들어간 지금의 프로그램은 같은 입력에도 같은 출력을 보장하지 못한다.
• 에이전트 개발은 소프트웨어 공학보다 머신러닝에 가깝다. 학습 데이터는 환경, 가중치는 스킬·프롬프트·툴·모델, 손실 함수는 환경의 보상, 경사하강 한 스텝은 저장소에 올리는 PR에 대응한다.
• 환경은 지시문, 에이전트가 작업할 샌드박스, 성공 여부를 판정하는 검증기 세 가지로 이뤄지며, 표준화된 디렉터리 구조 덕분에 조직 사이를 그대로 오갈 수 있다.
• 하버는 환경 규격이자 임의의 에이전트·모델·샌드박스·작업 조합으로 롤아웃을 병렬 실행하는 오픈소스 프레임워크이고, 동시에 평가·학습용 환경 세트의 레지스트리다.
• 컴퓨터를 쓰는 모든 회사가 자체 eval을 가져야 한다. eval이 생기는 순간 브랜드나 남의 벤치마크를 믿을 필요 없이 모든 모델을 후보로 놓고 비용·성능을 저울질할 수 있다.

쉽게 이해하기

발표자는 청중을 2018년으로 데려가며 이야기를 연다. 동료가 보낸 400줄짜리 풀 리퀘스트를 커피 한 잔과 함께 읽으며 우아한 리팩터링과 깔끔한 메서드 이름에 감탄하고 확장성에 대한 코멘트를 남기던 시절이다. 불과 6개월에서 18개월 전 이야기지만 이미 먼 과거처럼 느껴진다며, 훗날 역사책은 소프트웨어 공학을 ‘실행하기 전에 코드가 무엇을 할지 알 수 있던 시대’로 기록할 것이라고 말한다.

그는 전화번호를 뽑아내는 짧은 프로그램으로 변화를 보여준다. 2018년 버전은 정규식을 쓰기 때문에 백만 번을 돌려도 결과를 100% 확신할 수 있지만, 형식이 조금만 어긋난 번호는 놓친다. 정규식을 모델 호출로 바꾼 2026년 버전은 이상하게 적힌 번호까지 잡아내는 더 강력한 프로그램이지만, 백만 번을 돌렸을 때 매번 같은 것을 출력한다고 장담할 수 없다. 그리고 이 불확실성은 작업이 복잡해질수록 커진다.

여기서 그는 프랑수아 숄레의 문장을 끌어온다. 에이전틱 코딩은 일종의 머신러닝이며, 생성된 코드는 여느 ML 모델처럼 경험적 평가로 관리해야 할 블랙박스 산출물이라는 것이다. 발표자는 이를 코딩에 한정하지 않고 에이전트 전반으로 확장한다. 그렇다면 머신러닝의 도구와 함정이 그대로 대응된다. 학습 데이터는 환경이 되고, 모델 가중치는 스킬·프롬프트·툴·모델 선택이 되며, 손실 함수는 환경이 주는 보상과 피드백, 역전파는 컨텍스트 기반 최적화 기법이나 코딩 에이전트를 루프로 돌리는 일, 그리고 과적합은 리워드 해킹이 된다.

그렇다면 에이전트를 실제로 어떻게 평가하는가. 답은 환경이다. 에이전트에게 무엇을 하라고 알려줄 지시문, 실제로 그 일을 시도할 가상 컴퓨터인 샌드박스, 정해진 시간이나 종료 조건 안에서 그 일을 해냈는지 판정할 검증기가 필요하다. 검증기는 프로그램적 테스트일 수도, 루브릭일 수도, 결과를 살펴보는 또 다른 에이전트일 수도 있다. 하버에서는 이를 파일 디렉터리 형태로 규정하는데, 이 구조가 환경 생태계에서 사실상 표준으로 자리 잡으면서 환경이 조직 사이를 그대로 오갈 수 있게 됐다.

롤아웃은 이 조각들을 잇는 절차다. 작업에서 시작해 샌드박스를 띄우고, 그 샌드박스를 에이전트에 넘겨 종료 조건에 이를 때까지 돌린 뒤 궤적을 남긴다. 다음으로 샌드박스를 검증기에 넘겨 보상을 얻고, 샌드박스를 정리한다. 수많은 롤아웃의 보상을 모아 집계한 것이 평가 결과다. 발표자는 이 단순한 절차가 대단히 보편적이라고 강조한다. 실제로 하버는 다단계 실행, 별도 샌드박스에서의 검증, 산출물 수집, 사용자 시뮬레이션 같은 변형을 지원하지만 모두 이 뼈대 위에 있다.

주요 인사이트

• ‘eval을 먼저 만들라’는 조언의 핵심은 협상력이다. 발표자가 인용한 사티아 나델라의 말처럼, 중요한 eval과 결과를 채점할 능력을 갖추면 그때부터 모든 모델을 환영할 수 있다. 브랜드도, 공개 벤치마크도, 남의 평가도 믿을 필요가 없어진다.
• 기업이 만들 eval은 대체로 네 갈래다. 에이전트가 우리 제품을 얼마나 잘 만드는가, 에이전트가 우리 제품을 얼마나 잘 쓰는가, 에이전트가 제품 기능을 얼마나 잘 구동하는가, 에이전트가 사내 프로세스를 얼마나 잘 자동화하는가.
• 두 번째 갈래는 특히 제품 전략과 맞닿는다. 앞으로 소프트웨어 제품이 헤드리스 모드를 제공하는 방향으로 간다면, 에이전트가 우리 제품을 잘 쓰는지 측정하고 개선할수록 사용량이 늘고 제품 가치도 올라간다는 논리다.
• 롤아웃은 평가나 학습 전용이 아니다. 발표자는 사용자들이 예상하지 못한 방식으로 쓰는 사례로 ‘에이전틱 맵리듀스’를 든다. 수많은 샌드박스에 에이전트를 뿌려 병렬 실행한 뒤 결과를 지능적으로 집계하는 방식으로, 영수증 처리나 다수의 PR 분석 같은 작업에 쓰인다.
• 발표자가 시연한 예시는 자기 성찰에 가깝다. 지난 코딩 세션 기록을 입력으로 넣어 ‘내가 에이전트를 교정한 지점’을 각각 분석하게 한 뒤, 마지막 단계에서 반복되는 실수와 실패 유형을 요약하게 했다. 저렴하고 빠른 모델로 분산 처리하고 마지막 요약만 더 똑똑한 모델에 맡기는 조합이었고, 그 결과는 다음 평가 작업을 만드는 재료가 된다.

자주 묻는 질문

관련 AI 소식