AI 아키텍처를 결정하는 것은 위험 — IBM의 위험 적합 설계와 설명가능성 3단계

핵심 메시지

• '쉽게 만드는 AI'와 '위험에 적합한 AI'는 같지 않다.
• 위험이 요구사항을 정하고, 요구사항이 아키텍처를 정해야 한다(그 반대가 아니다).
• 데이터·정보·지식은 다르며, 대부분의 AI는 데이터 단계에 있으면서 지식인 척한다.
• 원칙(공정성·투명성·설명가능성)은 의도의 선언일 뿐, 운영화된 요구사항으로 바꿔야 한다.
• 위험 수준이 아키텍처, 필요한 팀 역량, 거버넌스 방식을 결정한다.

쉽게 이해하기

IBM 테크놀로지의 발표자는 한 공공부문 리더가 "이제 AI는 만들기 쉽다"고 말한 일화로 시작한다. 그 말은 틀리지 않지만, 많은 것이 '나쁘게 만들기도 쉽다'는 점이 문제다. 쉬운 AI와 위험에 적합한 AI는 다르며, 많은 팀이 순서를 거꾸로 밟는다. 먼저 시스템을 만든 뒤에야 누가 감독할지 묻는 식이다. 위험이 요구사항을, 요구사항이 아키텍처를 정해야 한다.

발표자는 데이터의 정의를 '인간 경험의 산물'로 든다. 길에서 주운 공책 한 장은 데이터이고, 앞뒤 내용을 보면 맥락이 더해져 정보가 되며, 표지의 이름을 보면 관계까지 더해져 지식이 된다. 데이터는 정보가 아니고 정보는 지식이 아니며, 대부분의 AI 시스템은 첫 단계에 머물면서 세 번째인 척한다.

책장 사진을 일반 LLM에 올려 직업을 맞혀보게 한 실험이 이를 보여준다. AI는 암호학 책에 과도하게 반응해 발표자가 NSA에서 일한다고 단정했지만 사실이 아니다. AI는 데이터(책)를 봤지만 왜 그 책들이 거기 있는지는 이해하지 못했다. 이것이 패턴 인식과 지식 사이의 간극이며, 결정의 '이유'를 설명해야 하는 용도라면 맥락과 관계 없이 데이터만 보는 확률적 시스템으로는 부족할 수 있다.

대부분의 팀은 공정성·투명성·설명가능성 같은 AI 원칙을 갖고 있지만, 원칙은 의도의 선언일 뿐 그것만으로는 시스템을 만들거나 감사하거나 계약에 담을 수 없다. 필요한 것은 위험에 맞춰 조정된 구체적 기능·비기능 요구사항으로의 '운영화'다.

설명가능성 하나를 예로 세 단계를 든다. 기준(baseline)은 넷플릭스가 "시청 이력 때문"이라고만 말하는 수준으로, 결과가 낭비된 90분뿐일 때는 괜찮다. 강화(enhanced)는 출처와 데이터 계보를 보여주지만 추론 과정까지는 보여주지 못한다. 엄격(vigilant)은 현장에서 환자를 분류하는 간호사처럼 최고 위험 용도를 위한 것으로, 데이터 계보·재현성·추적 가능한 설명이 필요하다. 어느 수준이 필요한지는 전적으로 위험, 즉 이해관계의 크기에 달렸다.

주요 인사이트

• "만들 수 있느냐"가 아니라 "이 용도가 위험상 요구하는 방식으로 만들 수 있느냐"가 진짜 질문이다.
• 감사 가능한 설명이 필요할 때, 그것은 모델의 문제가 아니라 아키텍처의 문제다.
• 모든 원칙이 모든 시스템에 적용되는 것은 아니며, 필요한 엄격함의 수준은 이해관계의 크기에 비례한다.
• 위험이 낮으면 기준 수준의 설명가능성을 갖춘 확률적 AI로 충분할 수 있지만, 임상 결정·복지 판정·공공 안전처럼 위험이 높으면 추적·반박·방어가 가능한 아키텍처가 필요하다.
• 진짜 질문은 "오늘 오후에 AI를 만들 수 있느냐"가 아니라 "6개월 뒤에도 무엇을 어떻게 만들었는지 방어할 수 있느냐"이다.

자주 묻는 질문

관련 AI 소식