프롬프트 인젝션 방어와 AI 자동 레드팀, IBM 보안 팟캐스트가 짚은 쟁점 정리

핵심 메시지

• 오픈AI는 프롬프트 인젝션에 특화된 내부 자동 레드팀 모델 GPT-Red의 세부 내용을 공개했고, 한 경쟁에서 84%의 성공률을 기록했다고 밝혔다. 같은 조건에서 인간 레드팀은 13%였다.
• '가짜 사고 과정' 계열 프롬프트 인젝션 공격의 성공률이 이전 모델에서 95%였다가 이후 모델에서 10%로 떨어졌다고 오픈AI는 설명한다.
• 패널들은 이를 '만능형'이 아니라 특정 취약점만 전담하는 전문가형 모델의 등장으로 평가하며, 모델 소유자라면 마땅히 해야 할 일이라고 봤다.
• 동시에 좋은 목적의 도구는 반드시 악용된다는 점도 지적됐다. GPT-Red 자체를 얻지 못해도 안전장치 없는 오픈웨이트 모델로 유사한 도구를 만들 수 있다는 것이다.
• 브루스 슈나이어의 논지를 두고 'AI가 기술 없이 능력만 주면 함께 익히던 윤리 규범도 사라지는가'라는 토론이 이어졌고, 패널 의견은 갈렸다.

쉽게 이해하기

IBM의 주간 보안 팟캐스트 '시큐리티 인텔리전스'가 AI 보안의 최근 쟁점 세 가지를 다뤘다. 첫 번째 주제는 오픈AI가 지난주 세부 내용을 공개한 내부 자동 레드팀 모델 GPT-Red다. 이 모델은 프롬프트 인젝션을 능숙하게 구사하도록 훈련됐고, 오픈AI는 어떤 경쟁에서 GPT-Red가 84%의 성공률을 보인 반면 인간 레드팀은 13%에 그쳤다고 밝혔다.

오픈AI는 GPT-Red로 자사 모델을 공격해 얻은 결과를 다시 학습에 사용한다고 설명한다. 예로 든 것이 '가짜 사고 과정' 계열의 프롬프트 인젝션이다. 이 공격은 이전 세대 모델에서 95% 통했지만 이후 모델에서는 10% 수준으로 떨어졌고, 오픈AI는 그 공을 GPT-Red에 돌렸다. GPT-Red는 외부에 공개할 계획이 없는 내부 전용 도구다.

패널들은 이 접근을 프런티어 모델의 자연스러운 진화로 봤다. 무엇이든 어느 정도 해내는 일반의가 아니라, 특정 질환만 다루는 전문의에 가까운 모델이라는 비유가 나왔다. 하지만 곧바로 반론도 이어졌다. 방어 측에 강력한 도구일수록 공격 측의 표적이 된다는 것이다. 침투 테스트 도구가 공격 도구로 전용된 전례가 언급됐고, 안전장치 없이 배포되는 고성능 오픈웨이트 모델이면 비슷한 '프롬프트 인젝션 전문 모델'을 만들 수 있다는 지적도 나왔다.

진행자는 오픈AI가 이 방식을 분류기 기반 안전장치와 대비시킨 점에 주목했다. 인용된 문구는 이렇다. '덜 하는 모델은 자연히 공격하기 어렵지만, 그것은 쓸모 있는 견고함이 아니다. 견고함은 정당한 요청을 기본적으로 거부하는 데서가 아니라 악의적 지시에 더 잘 저항하는 데서 나온다.' 실제로 일부 보안 실무자들은 안전 분류기가 과도하게 조심스러워 거부하지 않아도 될 질문까지 막는다고 불만을 제기해 왔다.

두 번째 주제는 8월 블랙햇 콘퍼런스에서 공개될 예정인 오픈소스 도구 '스캠 버스터'다. AI 모델이 사기 이메일에 답장해 피해자인 척하면서, 사기 조직의 수법과 인프라 정보를 자연스럽게 캐내 보안팀과 위협 인텔리전스, 수사기관에 넘기는 구조다. 마지막 주제는 브루스 슈나이어가 가디언에 쓴 짧은 에세이로, AI가 보안 분야에서 '기술'과 '능력'을 분리시키고 있다는 문제 제기였다.

주요 인사이트

• GPT-Red의 요점은 '봇을 풀어놓는 것'이 아니라는 데 있다. 패널의 표현대로 명확히 설정된 임무를 가진 특화 도구이고, 좋은 결과도 그 한정성에서 나온다.
• 특화 모델 접근이 통한다면, 프롬프트 인젝션 외의 다른 취약점 유형마다 전담 모델을 만드는 방향도 가능해진다. 프롬프트 인젝션은 눈에 띌 뿐 유일한 문제는 아니다.
• 슈나이어의 논지는 기술을 익히는 긴 과정이 도덕적·윤리적 규범을 함께 심어준다는 것이다. 능력만 손에 넣은 사람은 어떤 직업 공동체에도 속하지 않고 어떤 규범에도 묶이지 않는다.
• 이에 대한 반론도 만만치 않았다. 윤리는 자격 과정에서 획득하는 것이 아니라 사람이 이미 갖고 오는 것이며, 인간과 달리 AI에는 우리가 그것을 설계해 넣어야 한다는 지적이다.
• 능력과 기술의 격차가 벌어지는 현상은 공격자에게도 똑같이 적용된다. 산 도구가 통하지 않는 순간 메울 기술이 없다는 점에서, 방어 측이 겪을 문제를 공격 측도 겪게 된다.

자주 묻는 질문

관련 AI 소식