공공 AI 전환이 어려운 진짜 이유 - 보안·문서·제도가 만든 병목과 현재 진행 상황

핵심 메시지

• 공공 조직은 신뢰와 안정성이 최우선이라 태생적으로 위험을 회피하며, AI 도입에 실패하면 행정 신뢰 하락으로 이어지기 때문에 민간보다 훨씬 신중하다.
• 공무원 PC는 업무망과 인터넷망이 분리돼 있어 자료 하나를 보고하려면 여러 번 망 전환을 해야 했고, 공통 기반 구축의 가장 큰 효과는 망 전환 없이 언어모델을 쓸 수 있게 된 것이다.
• 공공 데이터는 법령·시행령처럼 신뢰도가 높지만, 스캔 PDF와 셀이 병합된 한글 문서가 많아 생성형 AI가 읽기 어려운 형태였다.
• 혜택을 주려 해도 국민이 알고 신청해야 하는 신청주의 제도 때문에 맞춤형 서비스가 막혀 있었고, 직권주의로의 전환이 논의되고 있다.
• 미국 경찰의 범죄 예측 사례처럼 예측 성능이 좋아도 사회적 편향을 강화하면 공공에서는 사용을 중단하게 된다는 점이 균형의 어려움으로 제시됐다.

쉽게 이해하기

삼성SDS의 토크 프로그램에 정책 연구기관, 행정학 교수, 공공 사업 담당자, 생성형 AI 개발자가 모여 공공 부문의 AI 전환을 이야기했다. 출발점은 한 공공기관 신입 직원의 사연이었다. 주변에서는 'AI로 금방 되지 않느냐'고 하는데, 정작 기관 안에서는 업무에 인공지능을 함부로 쓸 수 없어 AI 네이티브 사회라는 말이 멀게만 느껴진다는 것이었다.

패널들은 먼저 AI 네이티브 사회를 정의했다. 휴대전화와 컴퓨터 없이 일할 수 없게 된 것처럼, AI가 도구를 넘어 기본값이 되어 없으면 일도 생활도 어려운 상태라는 것이다. 지금은 그 방향으로 가고 있는 과정이라는 진단이었고, 공공 AI는 그중에서도 공무원과 공공기관 종사자가 업무와 대국민 서비스에 AI를 얼마나 쓰는지의 문제로 범위를 좁혀 설명됐다.

그렇다면 왜 유독 공공이 더딜까. 첫째는 제도의 틀이다. 정해진 법과 제도 안에서만 움직여야 하는데 운영 원리는 빠르게 바뀌니, 더 좋은 것을 하고 싶어도 상자에 갇힌 듯한 한계가 있다는 설명이었다. 대표적인 예가 신청주의다. 예방접종 안내든 출산·양육 지원금이든 국민이 그 존재를 알고 직접 신청해야 받을 수 있어, 정작 정보를 접하기 어려운 사람은 혜택에서 밀려난다. 그래서 알아서 챙겨 주는 직권주의 방향이 추진되고 있다는 설명이 이어졌다.

둘째는 조직의 성격과 보안이다. 공공은 신뢰가 한번 깨지면 회복에 오래 걸리기 때문에 태생적으로 위험을 회피한다. 여기에 AI는 클라우드를 동반하고 클라우드는 엄격한 보안 지침을 요구한다. 한 패널은 2025년 침해사고 신고가 역대 최대치였고 그중 랜섬웨어 피해가 특히 컸으며 보안 인프라가 약한 중소·중견기업에 집중됐다고 전했다. 결국 도입 실패가 행정 신뢰 추락으로 이어질 수 있다는 부담이 결정을 늦춘다는 것이다.

셋째는 문서다. 공공 데이터는 법령과 시행령처럼 신뢰도가 높다는 강점이 있지만, 스캔된 PDF와 표의 셀이 복잡하게 병합된 한글 문서가 많아 생성형 AI가 주제를 제대로 인식하지 못했다. 개발 측은 이런 문서를 기술적으로 보정해 데이터를 축적했다고 밝혔지만, 시행령 버전이 계속 바뀌는 만큼 과거 이력까지 관리하는 데이터 파이프라인은 아직 부족하다고 인정했다. 한편 정부 문서를 애초에 기계가 읽을 수 있는 형태로 만들자는 'AI 레디' 방향이 공공데이터 전략 차원에서 추진되고 있고, 실제로 최근 보고서에서 복잡한 표가 사라지고 있다는 현장 변화도 언급됐다.

그럼에도 체감할 만한 변화는 이미 나타나고 있다. 보도자료 검토처럼 한 시간씩 걸리던 일이 크게 줄었고, 홍보 콘텐츠 제작을 자동화한 사례도 소개됐다. 해외 사례로는 경찰 보디캠 영상과 음성을 근거로 AI가 보고서 초안을 써 주면서 문서 작성 시간이 줄고 경찰관의 직무 만족도가 올라간 일, 허리케인 피해 지역에서 위성사진 분석으로 실제 위험한 구조물에만 인력을 보내 조사 대상을 크게 줄인 일 등이 언급됐다. 국내에서는 홍수 예측에 220개가 넘는 소하천 데이터까지 분석해 정확도를 높인 사례, 국회 자료 검색과 회의록을 다루는 AI 플랫폼, 위기 가구를 AI가 먼저 전화로 안내하는 시범 사업이 소개됐다.

마지막으로 생성형 AI와 AI 에이전트의 차이가 정리됐다. 생성형 AI가 질문에 답하는 지식 응답 시스템이라면, 에이전트는 역할과 목표가 정해져 있어 계획을 세우고 실행한 뒤 결과를 검증하는 업무 수행 주체라는 설명이다. 실제로 국민 의견을 접수·분류·요약하고 소관 부처로 넘기는 일을 여러 에이전트에 나눠 맡긴 사례가 있으며, 아직 초기 단계라 마지막 확인은 공무원이 책임지고 맡고 있다. 인력 문제에 대해서는 전자정부 때처럼 단순히 줄어들기보다 새로운 역할로 전환·재배치될 것이라는 견해와, AI로 인한 다운사이징은 불가피하다는 견해가 함께 제시됐다.

주요 인사이트

• 공공 AI의 병목은 모델 성능이 아니라 제도와 인프라였다. 망 분리, 신청주의, 보안 등급이 기술보다 앞서 걸림돌로 작동한다.
• '예쁜 보고서'를 중시해 온 행정 문서 문화가 그대로 AI의 입력 품질 문제로 이어졌다. 문서를 기계가 읽을 수 있게 바꾸는 일이 곧 AI 준비 작업이 된다.
• 예측이 정확하다고 쓸 수 있는 것은 아니다. 특정 인종·저소득 지역에 순찰이 집중되는 편향 문제로 미국의 한 경찰 조직이 예측 시스템 사용을 중단한 사례가 공공의 판단 기준을 보여준다.
• 정부가 알아서 챙겨 주는 편리함과, 정부가 나에 대해 모든 것을 알고 있다는 불편함은 동전의 양면이다. 덴마크에서 시민 감정을 실험하던 장면이 그 균형의 어려움을 상징한다.
• 할루시네이션의 책임이 결국 담당자에게 돌아오기 때문에 오히려 관리자가 지시를 줄이고 직접 처리하는 현상이 나타난다는 관찰은, 도입 속도를 좌우하는 것이 책임 구조임을 시사한다.
• 지자체마다 여건이 달라 동일한 모델을 그대로 복제할 수 없다는 점에서, 유형별 표준 서비스를 만들어 확산하는 접근이 시행착오 비용을 줄이는 방식으로 제시됐다.

자주 묻는 질문

관련 AI 소식