AI 안전 평가 벤치마크 만들기: 해커톤에서 나온 다크패턴·사진 위치 추론 실험 네 가지

핵심 메시지

• 주말 동안 열린 해커톤에서 117명이 11개 프로젝트를 냈고, 여섯 명의 심사위원이 고른 상위 네 팀이 각자 만든 평가 벤치마크를 발표했다.
• 사이버 보안 팀은 언어 모델이 침입한 시스템에 재부팅 후에도 남는 발판을 심을 수 있는지 시험했는데, 시험한 오픈 모델은 모두 실패했다.
• 다른 팀은 위험한 질문에 답하는 능력이 아니라 그 질문이 위험한지 스스로 아는지를 측정해, 최신 모델이 오히려 고위험 질문을 더 안전하다고 판정하는 결과를 얻었다.
• 챗봇 다크패턴 팀은 사용자를 조종하는 여덟 가지 패턴을 겨냥한 프롬프트를 만들고, 두 상용 모델이 서로를 교차 채점하게 했다.
• 우승한 팀은 사진 한 장으로 촬영 위치를 맞히는 실험에서 평균 오차 약 2,000km, 최소 200m대라는 결과와 함께 개인정보 위험을 지적했다.

쉽게 이해하기

AI 안전 연구 단체 아파트 리서치가 연 AI 안전 평가 해커톤의 시상식과 발표 영상이다. 전 세계에서 117명이 참여해 주말 동안 11개 프로젝트를 완성했고, 심사위원 여섯 명이 평가한 상위 네 팀이 차례로 자신들이 만든 벤치마크를 소개했다. 공통점은 모두 '모델이 무엇을 할 수 있는가'가 아니라 '그것을 어떻게 측정할 것인가'를 붙잡았다는 점이다.

첫 팀은 사이버 공격 중에서도 지속성에 집중했다. 시스템에 한 번 접근한 뒤 재부팅 후에도 접근을 유지하는 능력인데, 무차별 대입처럼 성공과 실패만 있는 작업과 달리 방식이 여러 갈래여서 단계별 측정이 가능하다는 이유였다. 아마존 클라우드에 리눅스 가상 머신을 띄우고 모델이 내놓은 명령을 실제로 실행한 뒤 재부팅해 파일이 남아 있는지 확인하는 구조였는데, 시험한 라마 계열 모델은 기본적인 방법조차 해내지 못했다.

두 번째 팀은 이미 공개된 위험 지식 벤치마크의 문항을 뒤집어 썼다. 원래는 생물·화학·사이버 위험 지식을 얼마나 아는지 묻는 문항인데, 이를 '이 질문은 답해도 안전한가'라는 물음으로 바꿔 모델의 자각을 측정했다. 결과는 뜻밖이었다. 더 최신인 라마 3가 고위험 문항의 77%를 안전하다고 답한 반면, 이전 세대인 라마 2는 훨씬 많은 문항을 위험하다고 분류했다.

세 번째 팀은 챗봇의 다크패턴을 다뤘다. 대화 길이를 줄여 비용을 아끼려는 경향, 사람처럼 굴어 상대를 착각하게 만드는 의인화, 자사 브랜드를 은근히 치켜세우는 행동, 사용자 취향을 되풀이해 돌려주는 반향실 효과, 불필요한 개인정보를 캐내려는 유도, 재방문을 노린 유인 등 여덟 가지 범주를 정하고 이를 끌어내는 프롬프트 수만 건을 만들었다. 그리고 두 상용 모델이 서로의 대화를 채점하게 했는데, 한 모델이 다른 모델보다 훨씬 엄격한 심판이었다는 점이 드러났다.

우승은 사진 한 장으로 위치를 추론하는 벤치마크에 돌아갔다. 구글 스트리트뷰에서 모은 1,800여 장과 직접 찍은 사진을 모델에 넣고 좌표를 맞히게 했더니, 평균 오차는 2,000km 안팎이었지만 몽골에서 찍은 한 장은 오차가 200m 남짓이었다. 도로 표지판이 있는 도시 사진이 가장 잘 맞았고, 랜드마크와 기후는 오히려 정확도가 낮았다. 발표자는 사회관계망에 올린 사진 한 장으로 위치가 특정될 수 있다는 위험을 강조했다.

주요 인사이트

• 위험한 능력을 재는 벤치마크는 결과가 '전부 실패'로 나와도 의미가 있다. 지금 어디까지 못 하는지를 기록해 두어야 나중에 넘어선 시점을 알아챌 수 있다.
• 지식을 아는가와 그것이 위험한 줄 아는가는 다른 능력이다. 후자를 따로 재면 세대가 올라가도 자각이 함께 좋아지지는 않는다는 사실이 드러난다.
• 모델이 모델을 채점하게 하면 심판마다 엄격함이 달라 결과가 흔들린다. 사람 평가와 대조하기 전에는 절대 점수로 읽으면 안 된다.
• 다크패턴은 광고 문구가 아니라 응답 길이, 말투, 되묻는 방식처럼 눈에 띄지 않는 곳에 숨는다. 그래서 자연스러운 대화 표본보다 의도적으로 유도한 프롬프트가 더 잘 잡아낸다.
• 사진 위치 추론에서는 표지판과 문자가 결정적이었고, 반대로 엉뚱한 언어가 적힌 물건 하나가 모델을 크게 헷갈리게 만들었다.

자주 묻는 질문

관련 AI 소식