책임 있는 AI란 무엇인가: 마이크로소프트 사라 버드가 말하는 에이전트 시대의 신뢰와 감독

핵심 메시지

• AI 자체를 '책임감 있게' 만들 수는 없고, 책임은 결국 사람에게 있다. 목표는 특정 맥락에서 믿을 만한 AI를 만드는 것이다.
• 신뢰는 맥락에 따라 달라진다. 초안 문단을 맡기는 것과 임상 의사결정을 맡기는 것은 전혀 다른 문제다.
• 에이전트가 코드를 쓰고 검토하는 방식으로 소프트웨어 개발 수명주기가 바뀌면서, 인간 감독을 어디에 끼워 넣을지가 새로운 과제가 됐다.
• 책임은 모델 제공자, 플랫폼, 애플리케이션 개발자, 사용자에게 층층이 나뉘어 있고 각자 검증해야 할 위험이 다르다.
• 존재론적 위험 논의에 관심이 쏠린 사이 '지금 당장 어떻게 실천할 것인가'라는 질문은 상대적으로 덜 다뤄지고 있다.

쉽게 이해하기

마이크로소프트에서 책임 있는 AI를 총괄하는 사라 버드는 'AI를 책임감 있게 만들 수 있느냐'는 질문의 전제부터 바로잡았습니다. 책임의 주체는 결국 사람이고, 기술 쪽에서 할 일은 믿을 만한(trustworthy) AI를 만드는 것이라는 설명입니다. 여기서 중요한 것은 '만하다'는 부분인데, 신뢰할 근거가 없는데도 신뢰하는 사례가 이미 많기 때문입니다.

신뢰는 일반적인 속성이 아니라 맥락에 딸린 속성이라는 점도 강조했습니다. 내가 검토하고 고칠 문단을 생성하는 일은 맡길 수 있어도, 임상 의료 판단은 아직 맡길 수 없습니다. 어떤 시스템을 어떻게 만들었는지와 그것을 실제로 어디에 놓았는지가 함께 신뢰를 결정하며, 어떤 도구든 아무 데서나 믿어서는 안 된다는 것입니다.

가장 큰 변화로는 에이전틱 코딩을 꼽았습니다. 지금까지의 책임 있는 AI 실무는 기존 소프트웨어 개발 수명주기를 전제로 설계돼 있는데, 에이전트가 코드를 작성하고 검토까지 하는 조직이 생기면서 그 전제가 흔들리고 있습니다. 두 시간 만에 만든 결과물을 사흘에 걸쳐 사람이 검토하는 방식은 어울리지 않기 때문에, 인간 감독을 없애는 대신 감독을 수행할 새로운 도구가 필요하다는 것이 그의 진단입니다. 마이크로소프트가 Build에서 위험 항목을 상세한 테스트로 바꿔 주는 Assert와, 에이전트가 따라야 할 정책을 런타임이 구현할 수 있게 기술한 Agent Control Specification을 오픈소스로 내놓은 이유도 여기에 있습니다.

누가 책임을 지느냐는 질문에는 층위를 나눠 답했습니다. 모델 제공자는 세상에 없던 위험한 능력이 풀려나가지 않게 하고, 애플리케이션 개발자는 자기 도메인에서 그 AI가 실제로 작동하는지 검증합니다. 은행 앱이 제대로 동작하는지 시험할 수 있는 쪽은 모델 제공자가 아니라 그 앱을 만드는 쪽뿐입니다. '모델에서 다 고치면 되지 않느냐'는 발상이 간편해 보이지만, 버드의 팀조차 가드레일과 모니터링 시스템을 학습시키기 위해 유해 콘텐츠를 생성해야 하는 만큼 범용성 자체가 가치라는 설명입니다.

현재 팀이 붙들고 있는 문제는 세 가지입니다. 첫째는 이중용도 위험으로, 취약점을 찾아내는 능력은 방어자에게도 공격자에게도 똑같이 쓰이고 심리사회적 위험처럼 경계를 긋기 어려운 영역도 늘고 있습니다. 둘째는 조직 경계를 넘나드는 에이전트를 어떻게 통제하고 관측할 것인가이며, 셋째는 바뀐 개발 수명주기에 맞춰 검증 체계를 다시 짜는 일입니다.

주요 인사이트

• 챗봇에서 에이전트, 다시 물리 시스템으로 갈수록 되돌릴 여지가 줄어든다. 도구 호출이 되돌릴 수 없는 동작을 수행할 수 있으므로 '일어나면 되돌린다'가 아니라 '애초에 일어나지 않게 한다'로 사고를 바꿔야 한다.
• 레드팀은 사람의 창의성으로 시스템을 깨뜨리는 데 강하지만 좁은 창만 보여준다. 그래서 훨씬 넓은 범위를 훑는 자동 테스트를 병행한다.
• 책임 있는 AI 조직에는 컴퓨터과학자뿐 아니라 언어학자, 법률·정책 전문가가 함께 있어야 하고, 기술만으로도 정책만으로도 문제가 풀리지 않는다.
• 코딩 에이전트 덕분에 정식 개발 교육을 받지 않은 사람도 아이디어를 구현할 수 있게 됐지만, 그 교육 과정에 딸려 오던 보안과 책임 감각은 함께 오지 않는다는 점이 새 과제다.
• 호주 뉴사우스웨일스 교육부는 과제마다 빨강·노랑·초록 신호등을 붙여 AI 사용 범위를 표시했다. 아이들에게 '언제 써도 되는가'의 판단 틀을 주는 방식이다.

자주 묻는 질문

관련 AI 소식