AI 사이버보안 벤치마크 분석: 접근제어 제로데이 문제로 드러난 최신 모델의 추론 한계

핵심 메시지

• 사이버 공격의 경제학이 흔들리고 있다. 공격자는 자원을 아끼려 표적을 신중히 골라야 했지만, 강력해진 모델은 여러 표적을 한꺼번에 노릴 수 있게 만든다.
• 발표자들은 대규모로 돌아가는 방어 시스템이 사람의 개입에 기댈 수 없는 만큼, 해법도 결국 모델 자체의 능력 향상일 수밖에 없다고 본다.
• 공개된 벤치마크는 사이버 보안 전체가 아니라 접근제어 한 분야에 집중한다. 발판을 마련하는 첫 관문이자 오랫동안 취약점 목록 1순위였기 때문이다.
• 문제는 연구팀이 직접 찾아낸 제로데이로 만든 블랙박스 환경이며, 모델은 코드도 인터넷도 보지 못한 채 열 몇 단계에 이르는 논리 연쇄를 스스로 이어가야 한다.
• 채점은 단계마다 결정론적으로 이뤄져 성공 여부뿐 아니라 공격 사슬의 어디까지 갔는지를 보여준다. 현재 난이도는 매우 높아 1회 시도 기준 해결 사례가 하나뿐이다.

쉽게 이해하기

허깅페이스의 토마스 울프와 보안 스타트업 아리스메틱(Arithmetic)의 창업자가 함께 무대에 올라, 데이터 품질을 다루는 자리에서 사이버 보안 이야기를 꺼냈다. 울프가 이 발표를 수락한 이유는 두 가지다. 하나는 사이버 보안이 사람들이 생각하는 것보다 AI에게 훨씬 넓은 탐색 영역이라는 점, 다른 하나는 오픈소스 모델이 이 분야에서 할 몫이 크다는 믿음이다.

그는 이번 벤치마크가 성격상 ARC-AGI-3에 가깝다고 소개했다. ARC-AGI-3는 모델이 작은 게임 안에서 지금 상태가 어떤지, 무엇을 누르면 다른 곳에서 무슨 일이 벌어지는지를 스스로 파악해야 하는 문제인데, 겉보기와 달리 현재 모델의 성공률은 1~2%에 그친다. 세상의 동작 방식을 즉석에서 모형화하고 그에 맞춰 행동하는 능력이 아직 부족하다는 뜻이며, 새 보안 벤치마크도 정확히 그 지점을 겨냥한다.

발표자들이 짚은 문제의 뿌리는 공격과 방어의 비대칭이다. 방어자는 모든 문과 창을 닫아야 하지만 공격자는 놓친 틈 하나만 찾으면 된다. 지난 20여 년의 보안 스택은 공격자가 표적을 골라야 한다는 전제 위에 세워졌는데, 모델이 취약점을 대량으로 찾아내기 시작하면서 그 전제가 무너지고 있다. 반면 방어 시스템은 대규모로 자동 운영되어 사람이 개입할 여지가 거의 없고, 결국 모델이 기본 상태에서 해내는 만큼이 방어의 상한이 된다.

그래서 이들은 접근제어에 초점을 맞춘 벤치마크를 첫 결과물로 내놨다. 수영과 F1과 농구를 하나로 묶어 평가할 수 없듯 사이버 보안 전체를 단일 벤치마크로 담을 수 없다는 판단에서다. 취약점 연구자들이 널리 쓰이는 오픈소스 소프트웨어에서 직접 제로데이를 찾아내 유지보수자에게 신고하고, 그 취약점을 여러 서비스가 얽힌 실제 환경으로 구성한다. 모델은 코드도 인터넷도 볼 수 없고 기본 도구만 쥔 채 권한을 끌어올릴 경로를 찾아야 하며, 발견부터 악용까지 각 단계가 결정론적으로 채점된다.

시연에 쓰인 과제는 인증 서버와 비밀 저장소, 브로커가 사슬처럼 엮인 환경에서 최소 권한 사용자로 시작해 운영 코드에 도달하는 것이었다. 실제 해법은 권한 검사가 한쪽에서는 이름으로, 다른 쪽에서는 식별자로 이뤄진다는 논리 불일치를 파고들어 관리자의 이름을 바꿔 권한을 물려받는 식이다. 모델들은 여기저기 찔러보며 검사 지점까지는 도달했지만 이 도약을 해내지 못했고, 어떤 과제에서는 세 시간 넘게 추론을 이어가고도 실패했다. 발표자들은 좋은 벤치마크와 데이터로 코딩 능력이 도약했듯 보안도 같은 길을 갈 수 있다고 보며, 속도가 관건인 만큼 소수 기업에 기대기보다 여러 오픈소스 모델을 후속 학습해 각 환경에 맞추는 협업이 필요하다고 강조했다.

주요 인사이트

• 이 벤치마크가 재는 것은 취약점 지식이 아니라, 시스템 전체의 상태를 머릿속에 유지하며 논리적 도약을 해내는 능력이다. 발표자들은 권한 설정을 하나 바꾸면 시스템의 다른 부분도 함께 변한다는 점을 특히 강조했다.
• 단계별 부분 채점 덕분에 '발견은 하지만 악용으로 잇지 못한다'는 실패 유형이 드러난다. 실제로 여러 모델이 필요한 정보를 거의 다 수집하고도 마지막 도약에 실패했다.
• 방어 쪽이 모델 능력에 묶여 있다는 지적은 뒤집어 보면, 모델을 끌어올리는 일이 곧 방어 인프라 투자라는 뜻이 된다.
• 논리 기반 취약점은 코드의 버그가 아니라 거대한 시스템들 사이의 어긋남에서 생긴다. 그래서 패턴 매칭에 능한 모델도 여기서는 힘을 쓰지 못한다.
• 방어의 진짜 병목은 정확도가 아니라 속도다. 침입을 알아채고 대응하려면 특화된 모델이 전용 하드웨어에서 빠르게 도는 구조가 필요하다는 것이 발표자들의 전망이다.

자주 묻는 질문

관련 AI 소식