표현 공학과 서킷 브레이킹: 톱다운 해석가능성으로 AI 안전 높이기

핵심 메시지

• 뉴런과 회로를 하나씩 역설계하는 상향식 접근 대신, 다수 뉴런의 집단 활동이 만드는 표현 공간을 분석 단위로 삼는 하향식 접근을 제안한다.
• 모델에는 출력과 별개로 '무엇이 참이라고 여기는지'를 추적하는 내부 신호가 있으며, 프롬프트를 바꿔도 비교적 안정적으로 유지된다.
• 모델이 내부 판단과 다른 말을 할 때 그 상태를 활성값에서 감지할 수 있고, 정직성에 해당하는 영역을 자극하면 출력이 내부 판단에 가깝게 돌아온다.
• 거절 훈련은 탈옥으로 쉽게 우회되지만, 유해한 처리 경로 자체를 끊는 방식은 학습하지 않은 새로운 공격에도 일반화된다.
• 실제 공개 탈옥 대회에서 이 방어를 적용하지 않은 모델들은 대부분 한 시간 안에 뚫렸다는 것이 발표자의 설명이다.

쉽게 이해하기

정렬 워크숍에서 앤디 저우가 '톱다운 해석가능성으로 AI 안전을 개선하기'를 주제로 발표했다. 그는 표현 공학(representation engineering)과 서킷 브레이킹, 두 편의 연구를 바탕으로 지금 실제로 쓰이는 시스템에 곧바로 적용할 수 있는 해석가능성을 강조했다. 적대적 견고성 분야에 '아무도 쓰지 않는 시스템에 대한 공격은 별 의미가 없다'는 말이 있듯, 해석가능성도 실제 모델의 감시와 제어에 영향을 주어야 한다는 문제의식이다.

그는 기존 접근을 상향식으로 분류한다. 뉴런과 회로 같은 저수준 부품에서 출발해 행동을 역설계하는 방식인데, 고차원 인지로 규모를 키우는 데 어려움을 겪어 왔다는 것이다. 대안으로 제시한 하향식 접근은 행동에 대응하는 표현 공간, 즉 뉴런 집단의 전역적 활동을 직접 본다. 그는 두 접근이 결합될 수 있다고 전제하면서도, 이번 발표는 하향식에 집중한다고 밝혔다.

논거는 창발이다. 무수한 입자가 뒤엉킨 기체도 부피·온도·압력이라는 짧은 식으로 미래 상태를 예측할 수 있고, 그 아래 뉴턴 역학이 깔려 있어도 예측을 위해 굳이 그 층까지 내려갈 필요는 없다. 언어에서 단어 빈도가 순위만으로 예측되는 규칙도 마찬가지다. 저우는 신경망에서도 이런 수준의 일반화된 규칙을 찾을 수 있으리라 보고, 가중치와 활성값을 아우르는 '표현'을 읽고 감시하고 제어하는 것을 목표로 삼는다. 그는 이를 모델에 대한 뇌 스캔에 비유했다.

발표의 첫 사례는 정직성이다. 그는 사실과 일치하는 답을 내놓는 진실성과, 자신이 참이라고 믿는 바를 말하는 정직성을 구분한다. 모델 출력을 보지 않고 내부 표현만으로 문제를 풀었을 때 정확도가 높게 나왔고, 오해를 유도하는 맥락을 넣어도 이 내부 지표는 크게 흔들리지 않았다. 반면 흔한 오해를 모아놓은 벤치마크에서 모델의 실제 답변은 형편없었다. 즉 모델은 참을 알면서도 다른 말을 하는 경우가 잦다는 뜻이다. 저우는 이 상태를 활성값에서 감지해 보였고, 정직성에 해당하는 영역을 자극하자 '2030년 대통령이 누구냐'는 질문에 지어내는 대신 알 수 없다고 답하는 식으로 행동이 바뀌었다.

두 번째 사례는 탈옥 방어다. 거절 훈련은 유해한 요청을 초기에 걸러내는 관문을 만들지만, 그 관문만 통과하면 유해한 상태들이 서로 잘 연결돼 있어 끝까지 흘러간다. 공격을 하나씩 학습시켜 막는 방식은 취약점을 메울 뿐 새로운 공격에는 다시 뚫린다. 저우가 제안한 방식은 유해한 처리로 이어지는 표현 자체를 찾아, 모델이 그 상태에 들어서면 회로를 끊듯 사고 과정을 중단시키는 것이다. 그는 학습하지 않은 공격에도 유해성이 크게 낮아졌고 기존 능력은 거의 그대로 유지됐으며, 멀티모달 모델과 도구를 호출하는 에이전트에서도 같은 결과를 얻었다고 밝혔다.

주요 인사이트

• 정직성과 진실성을 나누면 문제의 성격이 달라진다. 사실이 틀렸어도 내부 판단과 일치하면 정직한 것이고, 사실이 맞아도 내부 판단과 어긋나면 정직하지 않은 것이다.
• 표현 기반 접근의 실무적 장점은 비용이다. 발표자는 레이블이 붙은 데이터가 필요 없고, 128개 남짓한 적은 예시로 학습해도 프롬프트 방식이나 에이전트 환경 등 다른 상황으로 잘 일반화됐다고 설명했다.
• 프롬프트로 정직성을 높이려는 시도는 효과가 작고 세밀한 조절이 어렵다. 파인튜닝은 데이터를 모아야 하는데, 레이블 잡음이나 보상 편향이 있으면 오히려 문제를 키운다는 것이 발표자의 지적이다.
• 취약점을 하나씩 메우는 대신 모델 내부의 위험 요소 자체를 줄이면 방어가 일반화된다는 관점은, 공격 목록을 쫓아다니는 기존 안전 훈련과 방향이 다르다.
• 질의응답에서 저우는 이 방어가 만능이 아님을 인정했다. 대회는 블랙박스 환경이었고, 가중치에 접근해 파인튜닝까지 할 수 있다면 견디기 어려울 수 있다고 답했다.

자주 묻는 질문

관련 AI 소식