우버이츠 멀티모달 AI 에이전트 평가(Eval) 설계: 라우터·자동튜닝·폐루프 실전

핵심 메시지

• 우버이츠는 소상공인 음식 사진 품질을 AI로 선별·향상하되, 'AI 티가 나는' 이미지에 대한 이용자 불신을 피하기 위해 원본 충실도와 브랜드 보존을 최우선 제약으로 뒀다.
• 전체 파이프라인은 이미지 이해·라우팅 → 편집(QA 피드백 루프) → 최종 게시 전 QA의 다단계로 구성되며, 모든 단계를 한 JSON에 평평하게 로깅해 누구나 사례를 추적하고 집계할 수 있게 했다.
• 라우터는 '향상할지 건너뛸지'를 정하는 분류기로, 혼동행렬·정밀도/재현율로 평가하며 나쁜 이미지를 통과시키지 않는 '재현율'을 가드레일 지표로 삼는다.
• 사람 라벨을 정답(golden dataset)으로 삼아 오프라인 정렬 후, 운영 데이터를 주기적으로 샘플링해 불일치를 진단·자동튜닝하는 폐루프로 모델 드리프트를 지속 보정한다.
• 프롬프트 옵티마이저는 reflect(잡음 제거·체계적 오류 탐색)와 synthesize(설정 갱신) 하위 에이전트로 나뉘며, 벤치마크 통과 시에만 새 에이전트를 등록하는 사람 개입 없는 폐루프다.

쉽게 이해하기

우버의 배달 마켓플레이스 우버이츠는 연 환산 약 900억 달러 규모로, 매달 수백만 개 품목이 추가되고 1만여 개 도시에서 운영된다. 이 규모에서 음식 사진은 이용자가 가맹점에 대해 갖는 첫인상을 좌우하는 핵심 신호지만, 시간·노하우·비용 부족으로 소상공인의 사진 품질은 들쭉날쭉하다. 발표자들은 이 문제를 대규모로 풀 때 부딪히는 긴장, 즉 '품질은 올리되 진짜처럼 보여야 하고, 획일화는 피해야 한다'는 요구를 어떻게 에이전트와 평가 설계로 다뤘는지 소개한다.

핵심 아이디어는 규칙 기반의 결정론적 시스템과 창의적이지만 통제 어려운 에이전트 사이에서 균형을 잡는 것이다. 파이프라인은 먼저 LLM에게 사진을 묘사하게 해 구조화된 출력을 만들고, 라우터가 향상/건너뛰기를 판단한다. 향상 대상은 편집 에이전트로 넘어가 QA 에이전트의 피드백을 받아 반복 자기교정하며, 정해진 횟수 안에 통과하지 못하면 게시하지 않는다. 마지막에는 정책·품질을 다시 점검하는 '게시 준비 QA'가 스위스 치즈 모델처럼 중복 방어선을 편다.

평가에서 특히 강조된 것은 실패 사례의 구체성이다. 이미 훌륭한 치즈버거 사진을 '저품질'로 오판해 불필요한 연산 비용과 열화 위험을 지는 경우, 반대로 설명에는 '닭날개 8조각'인데 6조각뿐인 사진을 승인해 모델이 없는 날개 2개를 환각으로 채워 넣을 위험(충실도 지표) 등이 제시됐다. 향상 단계에서는 이미지별 맞춤 프롬프트를 생성하고 다차원 QA 게이트(플레이팅·충실도·색감)를 통과할 때까지 K회 반복하며, 'pass@K' 즉 K번째 반복에서의 통과율을 지표로 삼는다.

정적 모델은 현실에서 계속 실패하므로, 시스템은 운영 데이터를 정기 샘플링해 사람 라벨과 비교하고, 불일치가 있으면 상위의 '진단 에이전트(diagnoser)'가 문제 위치를 특정해 자동튜닝 파이프라인을 트리거한다. 이 과정은 설정(config) 기반이라 사람 개입이 필요 없고, 가드레일 관측성과 빠른 롤백이 내장돼 있다. 내부 도그푸딩의 엄지척/피드백, 가맹점·디자인·제품팀의 자유형 의견까지 여러 피드백 루프를 진단 에이전트가 일반화해 받아들인다.

최종적으로는 마켓플레이스 품질·건강 지표, 특히 장바구니 담기·주문 전환 같은 전환율을 추적한다. 대규모 운영 환경의 장점은 지역·기기·음식 종류별로 데이터를 쪼개 세그먼트별 개선을 확인하고 특정 세그먼트만 튜닝할 수 있다는 점이다. 강연은 '먼저 로깅부터 시작하라, 로깅이 없으면 최적화할 대상도, 자기학습 루프를 세울 근거도 없다'는 실전 조언으로 요약된다.

주요 인사이트

• 평가 설계의 출발점은 화려한 탐지기가 아니라 '이 작업을 끝내려면 무엇이 필요한가'라는 질문이다. 같은 신호(예: 가격, 개수)도 질문에 따라 필수일 수도, 무관할 수도 있다.
• 가드레일 지표를 명확히 정하는 것이 중요하다. 라우팅에서는 나쁜 이미지를 놓치지 않는 '재현율'을, 편집에서는 원본에 충실한지를 보는 '충실도'를 핵심으로 삼았다.
• 폐루프 자동튜닝은 '진단 → reflect/synthesize → 벤치마크 → 등록'의 표준 패턴을 모든 에이전트에 동일하게 적용해 재사용성을 확보했다. 통과한 새 설정만 다음 운영에 반영된다.
• 여러 QA 단계를 겹치는 것은 낭비가 아니라 스위스 치즈 모델식 중복 방어다. 상류에서 놓친 오류를 하류의 더 포괄적인 게이트가 잡아낸다.
• 프런티어 이미지 편집 모델 자체의 한계(물리적 개연성·객체 일관성)가 응용에 그대로 새어 나올 수 있어, 문제를 프런티어 팀과 공유해 함께 개선하는 협업도 평가 운영의 일부다.

자주 묻는 질문

관련 AI 소식