기업용 AI 데이터 에이전트가 자꾸 틀리는 이유 3가지와 해결 구조 — 테슬라 엔지니어의 프레임워크

핵심 메시지

• 에이전트가 틀릴 때 더 큰 모델이나 더 많은 지식베이스를 붙이는 것은 근본 해법이 아니다.
• 기업용 데이터 에이전트의 세 가지 근본 문제는 모호성, 최신성(staleness), 선호다.
• '진실의 원천'은 시맨틱 레이어 → 캐노니컬 테이블 → 데이터베이스 그래프로 이어지는 계층으로 관리해야 한다.
• 컨텍스트는 살아 있는 데이터 소스 연결과 이벤트 로깅·평가 루프로 계속 갱신해야 한다.
• 팀·개인마다 다른 지표 계산 '선호'를 올바른 지표로 라우팅하는 문제는 아직 미해결 과제다.

쉽게 이해하기

테슬라의 머신러닝 엔지니어 이시타 다가는 사내 기업용 데이터 에이전트를 만들며 얻은 관찰을 공유한다. 에이전트가 나쁜 답을 낼 때 흔히 더 큰 모델, 더 긴 컨텍스트, 더 많은 문서나 MCP 서버를 떠올리지만, 발표자는 그것이 에이전트 자체를 개선하는 답은 아니라고 말한다. 그가 지목한 진짜 문제는 모호성, 최신성, 선호 세 가지다.

첫 번째는 모호성이다. 에이전트는 어떤 테이블·컬럼·데이터 소스·지식베이스가 진실의 원천인지 알지 못한다. 모든 지식베이스를 동등하게 취급하면 안 되고, 가장 정제됐지만 유연성이 낮은 것부터 가장 지저분하지만 유연한 것까지 계층으로 다뤄야 한다. 그는 진실의 원천을 시맨틱 레이어(KPI 정의·지표 계산·비즈니스 정의를 큐레이션한 최상위 소스), 캐노니컬 테이블(파라메트릭 쿼리로 유연성을 더한 층), 데이터베이스 그래프(테이블과 컬럼·지표를 연결한 가장 유연하지만 유지가 어려운 층)로 나눈다. 앞의 두 층으로 약 80%를 해결하고 나머지 20%를 그래프로 채우라고 권한다.

두 번째는 최신성이다. KPI·정의·프로세스가 자주 바뀌면서 컨텍스트는 빠르게 낡고, 마크다운 파일을 계속 갱신하기는 어렵다. 해법은 컨텍스트 수명주기다. 항상 최신 상태로 유지되는 라이브 데이터 소스(GitHub, CRM, Tableau, DBT 시맨틱 레이어 등)를 임베딩하고, 정의나 데이터가 틀렸거나 갱신됐다는 모든 이벤트를 로깅하는 피드백 루프를 둔다. 이어 사람이 주석을 단 평가 세트나 자동 평가로 에이전트를 점검한다. 많은 팀이 평가를 소홀히 해 성능 변화를 추적하지 못하고, 그래서 에이전트가 조용히 실패한다고 그는 지적한다.

세 번째는 선호다. 같은 지표도 팀마다 다르게 계산한다. 예컨대 평균 마일스톤 소요 시간을 두고 어떤 팀은 이전 마일스톤 완료에서 현재 완료까지로, 다른 팀은 현재 마일스톤 시작에서 다음 시작까지로 측정한다. 둘 다 맞지만 답은 크게 달라진다. 시맨틱 레이어로 여러 계산 방식을 저장하거나 에이전트 메모리(mem0, memory.md 등)를 쓸 수 있지만, 선호 자체를 저장하거나 언제 어떤 지표를 쓸지 구분하지는 못한다.

결론적으로 발표자는 모호성·최신성·선호 세 문제를 꼽고, 필요한 것은 더 나은 구조와 컨텍스트 관리·평가라고 정리한다. 특히 누가 쓰느냐에 따라 올바른 지표로 라우팅하는 선호 문제는 개인의 맥락까지 담아야 하는, 업계가 아직 풀지 못한 열린 과제라고 강조한다.

주요 인사이트

• 성능 문제를 모델 크기로 환원하는 습관이 오히려 에이전트 개선을 가로막는다.
• '진실의 원천'을 하나로 두지 말고 정제도와 유연성의 축을 따라 계층으로 설계하면 대부분의 문제를 값싸게 해결할 수 있다.
• 평가 없이 운영되는 에이전트는 성능이 어떻게 변하는지 알 수 없어 조용히 실패한다.
• 정의·프로세스 변경을 이벤트로 로깅해 컨텍스트에 되먹이는 피드백 루프가 최신성 문제의 핵심이다.
• 지표 계산의 '선호'는 기술만이 아니라 조직·개인 맥락을 담아야 하는, 여전히 열린 연구 문제다.

자주 묻는 질문

관련 AI 소식