AI 에이전트 일관성 문제 해결: 능동학습·시맨틱·에피소딕 메모리

핵심 메시지

• 같은 모델에 같은 입력을 넣어도 의미가 다른 결과가 나오는 비일관성은, 판단이 오락가락해 제품 신뢰를 무너뜨린다.
• 오락가락하는 데이터는 결정 경계 주변의 '회색 지대'에 몰려 있으며, 정답이 회사 정책·선호에 달린 모호한 경우가 많다.
• 비일관성은 모델의 잘못이 아니라 데이터에 이미 존재하던 모호함을 드러낸 것이다.
• 능동학습으로 문제 데이터를 골라내되, LLM의 불확실성 점수보다 여러 실행 간 '불일치'가 더 믿을 만한 신호다.
• 재학습(파인튜닝)만이 답은 아니며, 시맨틱·에피소딕 메모리로 에이전트를 보강하는 것이 더 가볍고 빠른 해법이다.

쉽게 이해하기

발표자 다이앤 린은 임페리얼 칼리지 런던에서 지속 학습(continual learning)으로 박사를, MIT에서 원샷 학습을 연구했고 아마존 알렉사 QA 팀, AGI 스타트업 비카리우스(현 구글 딥마인드), 보안기업 Zscaler를 거쳐 보안 경보를 자동 분류하는 AI 에이전트 회사를 창업했다. 그 회사는 올해 데이터독에 인수됐고, 현재 그는 데이터독에서 자기진화형(self-evolving) 에이전트 개발을 이끈다.

문제는 흔하다. 같은 모델에 같은 입력을 넣어도 표현이 아니라 '의미'가 다른 출력이 나온다. 호텔 리뷰를 긍정·부정으로 라벨링하는 감성 분석에서 같은 리뷰가 실행마다 다른 판정을 받기도 한다. 그래서 한 번의 평가로는 전체 그림을 알 수 없고 여러 번 돌려 평균을 봐야 한다. 이는 단순 불편을 넘어선다. 보안 경보 분류에서 '의심 IP에서의 지메일 로그인 실패' 같은 경보가 어떤 때는 계속 양성(무해), 어떤 때는 계속 의심으로, 또 어떤 때는 둘 사이를 오간다면 고객은 무엇을 믿어야 할지 몰라 신뢰를 잃는다.

좋은 소식은 오락가락하는 데이터가 결정 경계 주변, 이른바 회색 지대에 몰려 있다는 점이다. 명백히 긍정적인 리뷰는 몇 번을 돌려도 긍정으로 나오지만, 경계에 걸친 애매한 리뷰는 판정이 흔들린다. 이런 경우는 인간 전문가도 의견이 갈리며, 사실 정답이 없다. 호텔이 통제할 수 없는 불평을 개선 대상으로 볼지 말지는 그 회사의 정책과 선호에 달렸다. 보안에서도 공격자가 문을 두드리기만 했는지, 비밀번호와 MFA를 뚫고 실제로 침입했는지에 따라 대응이 전혀 달라진다. 즉 비일관성은 에이전트의 결함이 아니라 이미 존재하던 모호함을 드러낸 것이다.

해법의 출발점은 이미 머신러닝에 있는 능동학습(active learning)이다. 모든 출력을 사람이 검토할 수는 없으니, 모델이 확신하지 못하는(확률이 0.5 부근인) 데이터나 여러 모델·여러 실행이 서로 불일치하는(query by committee) 데이터를 골라 사람의 주의를 집중시킨다. 다만 LLM에서는 두 가지를 손봐야 한다. 첫째, 선택 전략에서 LLM의 불확실성 점수는 믿을 만하지 못하다. 모델은 '자신이 모른다는 것을 모르기' 때문에 확신해도 정답이라는 보장이 없다. 대신 실행 간·모델 간 '불일치'가 더 신뢰할 만한 신호다.

둘째, 재학습 단계다. 파인튜닝은 비싸므로, 더 가벼운 대안으로 에이전트에 시맨틱 메모리와 에피소딕 메모리를 더한다. 시맨틱 메모리는 사실·정책 같은 도메인 지식이다. 예컨대 '호텔이 통제할 수 없는 불평은 긍정으로 분류', '비밀번호 스프레이가 로그인 성공 없이 반복되면 양성, 성공하면 악성' 같은 규칙을 지식 베이스에 넣어 결정 경계를 또렷하게 만들고 사람의 라벨링도 일관되게 돕는다. 에피소딕 메모리는 그 이유를 아직 정리하지 못했을 때, '전에 본 비슷한 사례가 양성으로 라벨됐다'는 과거 판단을 참조해 자동으로 결정하는 방식이다. 둘은 상충하지 않고 보완적이어서, 반복되는 상황은 에피소딕 메모리가 자동 처리하고 남는 것만 사람이 검토해 그 지식을 시맨틱 메모리에 축적한다.

실험 결과, 사이버보안 경보 93건을 세 번씩 돌렸을 때 아무 해법이 없으면 약 4분의 1이 판정을 뒤집었다. 에피소딕 메모리를 적용하자 약 15%가 일관성을 회복했고, 남은 약 10%는 참조할 유사 사례가 없거나 재고 끝에도 의견이 갈리는 경우로, 이는 사람이 검토해 추가 지식으로 모호함을 해소한다. 이 접근은 세 가지 이점을 준다. 일관성이 크게 올라 신뢰할 수 있는 에이전트가 되고, 전체가 아닌 문제 있는 일부만 검토하는 효율적 품질 관리가 되며, 그 과정에서 고객 피드백이 쌓여 고객 환경에 적응하는 제품이 된다.

주요 인사이트

• 비일관성은 대개 모델 탓이 아니다. 에너지를 모델 비난이 아니라 라벨 문제와 정보 부족 해소에 쏟고, 에이전트에 필요한 '명료함'을 더해야 한다.
• 모델의 불일치는 버그가 아니라 기능이다. 각 불일치를 모델이 배울 수 있는 학습 기회로 다뤄야 한다.
• LLM의 자기 확신 점수는 신뢰도가 낮다. '모른다는 것을 모르는' 특성 때문에, 여러 실행 간 불일치가 문제 데이터를 찾는 더 나은 신호다.
• 파인튜닝만이 유일한 선택지가 아니다. 시맨틱(사실·정책)과 에피소딕(과거 사례) 메모리로 에이전트를 보강하면 더 가볍게 일관성과 적응력을 얻는다.

자주 묻는 질문

관련 AI 소식