AI 코딩 보안 취약점 급증 시대, 방어 전략은 무엇인가

핵심 메시지

• AI 코딩 도구가 역대 가장 빠르게 확산되는 동시에, 프런티어 모델이 취약점을 찾고 악용하는 능력도 급격히 좋아지면서 취약점이 폭증하고 있다.
• AI가 새로 만들어내는 취약점 대부분은 새로운 종류가 아니라, 수십 년간 알려지고 예방법까지 존재해 온 익숙한 취약점 유형이다.
• 메모리 안전 언어(러스트, 고 등)로의 전환처럼 근본적 '보안 설계'가 개별 패치보다 오래가는 방어책이다.
• 모델이 똑똑해도 보안은 매우 맥락 의존적이라, 회사의 업무 로직을 알아야 하는 권한(authorization) 버그 같은 문맥적 취약점은 여전히 자주 발생한다.
• 발표자는 방어자에게 돌아가는 이득이 위험보다 크다며, 강력한 모델을 방어자 손에 더 빨리 쥐여주는 정책과 오픈소스 기반 강화를 주장한다.

쉽게 이해하기

발표자 잭 케이블은 AI 코딩 보안 스타트업 코리도(Corridor)의 공동창업자이자 CEO로, 이전에는 미국 사이버보안·인프라보안국(CISA)에서 '보안 설계(secure by design)' 이니셔티브를 이끈 경력이 있다. 그는 프런티어 모델이 소프트웨어, 특히 우리가 의존하는 오픈소스 라이브러리에서 취약점을 점점 더 잘 찾아내면서 이른바 '버그 아포칼립스'가 벌어지고 있다고 진단한다.

그는 방정식의 양쪽이 동시에 움직인다고 지적한다. 한편으로 모델은 취약점을 더 잘 찾아내고, 다른 한편으로 AI가 기본 코드 작성자가 되면서 공격 표면 자체가 급격히 넓어진다. 지난해 기준 약 84%의 개발자가 AI 코딩 도구를 사용했고, 이제는 슬랙 등에서 여러 에이전트를 백그라운드로 동시에 돌리는 등 자율성이 크게 높아졌다.

핵심 희소식은, 프런티어 모델이 찾아내는 취약점조차 대부분 새로운 종류가 아니라는 점이다. MITRE와 CISA의 알려진 악용 취약점 목록 상위에 오르는 버퍼 오버플로 같은 유형은 30여 년 전부터 문서화되어 있었고, 러스트·고처럼 메모리 안전이 보장되는 언어를 쓰면 구조적으로 도입 자체가 불가능하다.

그는 구글의 안드로이드 사례를 든다. 기존 코드를 다시 쓰지 않고 새 코드만 메모리 안전 언어로 작성했는데도 메모리 안전 취약점 비율이 2019년 약 75%에서 2022년 약 30%로 크게 떨어졌다. 취약점을 하나씩 잡는 '두더지 잡기'에 수백만 달러를 쓰기보다, 핵심 라이브러리를 한 번 재작성하는 편이 앞으로 수년간 이득을 준다는 것이 그의 논지다.

다만 모델이 아무리 똑똑해도 보안은 맥락 의존적이다. 학계 벤치마크(BaxBench)에서도 최고 모델조차 코드 작성 시 20~40% 확률로 취약점을 넣으며, 최근에는 단순한 한 줄짜리 버그보다 회사의 업무 로직을 이해해야 하는 권한 관련 버그 같은 문맥적 이슈가 늘고 있다. 그래서 코리도는 풀 리퀘스트 이전 단계에서 취약점을 막고, AI 코딩 도구 사용 현황을 가시화하는 데 초점을 둔다.

주요 인사이트

• 가속은 언제나 이긴다. 보안이 개발 속도의 '차단막'이 되면 안 되며, 논점은 '코딩 에이전트를 허용할지'가 아니라 '어떤 가드레일과 함께 허용할지'다.
• 6~12개월 내에 출하되는 코드의 다수가 사람이 아니라 AI에 의해 리뷰될 것이라는 전망은, 사람 없이 병합되는 코드에 대한 보안 보증 도구가 필수가 됨을 뜻한다.
• 개별 취약점 발견·패치는 필요하지만, 진짜 이득은 근본 구조를 바꾸는 재작성에서 나온다. 러스트의 프로그래밍적 보장은 모델이 더 똑똑해져도 메모리 안전 취약점 도입 자체를 막는다.
• 오픈소스는 공격자가 스마트 모델을 그대로 돌려 새 취약점을 찾는 '실험장'이 되기 쉬워, 정부와 기업 모두 오픈소스 기반을 체계적으로 강화할 책임이 있다.
• 폐쇄형 모델의 출력을 증류(distillation)해 오픈웨이트 모델이 빠르게 따라잡는 상황에서, 적대자는 이미 강력한 모델을 쓰고 있으므로 방어자에게도 그 역량을 빠르게 열어주는 것이 관건이다.

자주 묻는 질문

관련 AI 소식