AI를 언제 쓰지 말아야 하나 — 사람·규칙·머신러닝·생성형 AI 선택 기준

핵심 메시지

• AI는 마법이 아니며 모든 문제의 최선책도 아니다. AI 도입 여부와 규모는 정확도·비용·복잡도·위험의 트레이드오프를 따지는 공학적 결정이다.
• 소프트웨어·데이터 문제는 대개 사람(판단), 규칙 기반 코드(결정론적 로직), 머신러닝(통계적 패턴 인식), 생성형 AI(유연한 추론·생성) 네 가지로 풀린다. 이들은 단계가 아니라 각자 역할이 다른 별개의 선택지다.
• 생성형 AI를 쓸지 판단하는 핵심 질문은 '얼마만큼의 비결정성과 불확실성을 감내할 수 있는가'이다.
• 가장 성공적인 시스템은 한 가지 방식이 아니라 네 가지를 적절히 조합한 하이브리드다. '모든 것을 에이전트로'라는 말은 문자 그대로가 아니다.
• 제품화 실패는 대개 모델이 나빠서가 아니라 애초에 잘못된 시스템을 골라서 생긴다.

쉽게 이해하기

많은 팀이 시스템 곳곳에 AI 에이전트를 통합하기 시작했다. AI 에이전트가 강력한 것은 분명하지만, 발표자는 어디에 그리고 정말로 AI를 넣을지에 대해 전략적으로 판단해야 한다고 강조한다. AI 도입은 다른 모든 공학적 결정과 마찬가지로 정확도·비용·복잡도·위험 사이의 절충을 수반한다.

첫 번째 선택지는 사람이다. 사람은 모호함과 예외 상황을 잘 다루고, 불완전하거나 상충하는 정보 속에서 복잡한 판단을 내리며, 기계가 흉내 낼 수 없는 맥락·윤리·책임을 적용한다. 채용, 의료 진단, 법 해석, 대규모 전략·재무 결정처럼 위험이 크고 책임 소재가 분명해야 하는 일은 사람이 맡아야 한다. 다만 사람의 판단은 질은 높지만 비싸고 느리며 확장하기 어렵다.

두 번째는 규칙 기반 코드다. 로직이 명확하고 안정적이며 오류가 허용되지 않는 결정론적 작업—결제 처리, 입력 검증, 데이터 변환, 특히 보안·접근 제어—에 이상적이다. 코드는 빠르고 저렴하며 신뢰할 수 있고 해석·테스트가 쉽다. 카드 잔액 확인이나 이메일 형식 검증에 굳이 모델을 쓰면 불필요한 위험만 더한다. 그러나 조건이 끊임없이 바뀌고 로직이 지나치게 복잡해지면(예: 진화하는 사기 탐지) 규칙은 무너진다.

세 번째는 머신러닝이다. 패턴은 존재하지만 명확하지 않고, 규칙으로 정의하기엔 너무 복잡하며, 예측이 필요할 때 빛을 발한다. 사기 탐지, 고객 이탈 예측, 수요 예측, 추천 시스템이 대표적이다. 확장성이 좋고 예측 가능하지만, 모델 드리프트에 대비한 지속적 모니터링이 필요하고 정의된 범위를 벗어나면 유연성이 떨어진다.

네 번째는 LLM과 에이전트 같은 생성형 AI다. 텍스트·문서·미디어 같은 비정형 입력을 해석·변환하고 정밀도보다 유연성이 중요하며 어느 정도 오류가 허용될 때 적합하다. 문서 기반 질의응답(RAG), 대용량 문서 요약, 코드 생성, 다단계 에이전트 워크플로가 그 예다. 유연하고 빠르게 성과를 내지만, 비결정성 탓에 테스트가 어렵고 실행마다 정확성이 보장되지 않으며 대규모에서는 비용이 크게 늘어난다.

주요 인사이트

• 네 가지 방식은 사람에서 에이전트로 올라가는 사다리가 아니라, 각기 다른 문제에 맞는 별개의 도구다. 목표는 문제에 맞는 시스템을 고르는 것이다.
• 연간 지출 분석 같은 작업은 하나의 도구로 풀지 않는다. 결정론과 정확한 계산은 코드 기반 계산기 도구에, 시간에 따른 추세 파악은 전통적 머신러닝에, 마지막의 깔끔한 자연어 보고서 생성은 LLM에 맡기는 하이브리드가 가장 성공적이다.
• 실전 휴리스틱: 판단·책임·윤리가 필요하거나 위험이 크면 사람, 'X면 Y'처럼 명확하고 잘 바뀌지 않는 로직이면 규칙·코드, 과거 데이터에서 패턴·예측을 찾으려면 머신러닝, 복잡한 입력을 해석·생성·추론하고 정밀도보다 유연성이 중요하면 생성형 AI를 쓴다.
• 카드 네트워크의 초당 수백만 건 거래를 사람이 일일이 검토하지 않듯, 반대로 팀 적합성 같은 미묘한 판단이 필요한 최종 채용 결정을 전부 자동화해선 안 된다. 기술을 사용 사례에 맞추는 것이 핵심이다.
• 가장 성공적인 AI 시스템은 AI를 가장 많이 쓰는 시스템이 아니라, 문제마다 알맞은 종류의 지능을 일관되게 선택하는 시스템이다. 가장 중요한 AI 역량은 AI를 언제 쓰지 말아야 할지 아는 것이다.

자주 묻는 질문

관련 AI 소식