문화적 AI 학회 정리: LLM 레드팀·정렬·측정을 인문학이 읽는 법 (NYU 디지털이론랩)

핵심 메시지

• 대학원생 발표들은 AI를 새로운 사건이 아니라 관료제·기록 관리·노동 분업의 오랜 역사 속에 놓고 읽었다. 버전 관리와 웹 쿠키가 생성형 AI를 이해하는 전사(前史)로 제시된다.
• 한 발표자는 '모든 노동은 논리'라는 주장에 반대하며, 계산이 노동을 대체한다기보다 생산을 매개하고 재배치한다고 주장했다.
• 프로이트의 검열 개념으로 LLM 정렬을 읽은 발표는, 겉보기에 무의미한 단어 조합으로 안전 장치를 우회하는 탈옥 프롬프트를 꿈의 왜곡에 비유했다.
• 미시간대 애비게일 제이컵스는 '측정이 곧 통치'라고 주장하며, 무엇을 어떻게 수치화할지 정하는 순간 가치 판단이 기술 인프라에 각인된다고 지적했다.
• 킹스칼리지런던 메르세데스 분츠는 레드팀의 반복된 실패가 생성 언어의 성격을 드러낸다고 봤다. 계산된 언어는 대립이 아니라 근접성과 각도로 작동하는 '방향의 기하학'이라 완전한 통제가 어렵다는 것이다.

쉽게 이해하기

뉴욕대 리마르크 인스티튜트와 디지털이론랩이 연 사흘짜리 학회 '문화적 AI: 떠오르는 분야'의 한 세션 기록이다. 오전에는 박사과정 연구자 네 명이 진행 중인 논문을 발표하고, 오후에는 미시간대 애비게일 제이컵스와 킹스칼리지런던 메르세데스 분츠가 각각 측정과 레드팀을 주제로 강연했다. 컴퓨터과학과 인문학이 같은 단어를 다르게 쓰는 지점을 계속 건드린다는 점이 이 자리의 특징이다.

첫 발표자는 20세기를 거치며 글쓰기 노동이 저자성과 분리됐고, 오늘날 대부분의 글은 익명화된 다수가 쓴다는 '대량 글쓰기' 개념을 제시했다. 수천 명의 프로그래머가 버전 관리 시스템으로, 수백 명의 입법자가 개정 절차로 하나의 텍스트를 함께 쓴다. 그는 버전 관리와 웹 쿠키를 '상태 추적 기술'로 묶고, 이 계보 위에서 생성형 AI를 이해해야 한다고 주장했다. 특히 'AI 슬롭'을 소비가 아니라 유통의 관점에서 봐야 한다며, 2022년 말 트위터 대량 해고 이후 남은 직원들이 코드 리뷰를 통과하려고 챗GPT로 코드를 만들어 제출한 사례를 들었다. 읽히지 않고 보관되는 서류처럼, 순환시킬 텍스트가 필요해 생산된 텍스트라는 것이다.

두 번째 발표는 적분기(플래니미터)와 컴퓨터 마우스를 나란히 놓았다. 1965년 더글러스 엥겔바트 팀이 NASA 랭글리 연구센터에 제출한 보고서에서 처음 만들어진 마우스는, 엥겔바트가 공대생 시절 배운 플래니미터의 기계 원리를 가져온 것이었다. 발표자는 두 장치 모두 '머리를 손 안에 집어넣는' 배치라고 정리한다. 계산이라는 정신노동이 손의 움직임 안으로 기계화되어 들어가고, 그 결과 미적분 전문가가 하던 일이 장치 사용법만 익힌 노동자에게 넘어갔다는 것이다.

세 번째 발표는 '결국 모든 노동은 논리'라는 최근 논의를 정면으로 반박했다. 노동을 논리로 환원하면 사회적·물질적 관계가 지워진 관념론만 남고, 무엇보다 그런 전제 위에서는 노동운동을 상상할 수 없다는 지적이다. 발표자는 계산이 논리를 자동화한다기보다 오늘날 생산과 물류의 복잡성을 감당하게 해주는 기술이라고 봤다. 공장 노동의 자동화는 받아들이면서 창작과 지적 노동의 자동화만 인간성에 대한 위협으로 보는 태도가 오히려 계급적 편향이라는 주장도 덧붙였다.

네 번째 발표는 프로이트의 검열 이론으로 LLM 정렬을 읽었다. 꿈의 내용이 검열을 피하려고 무의미하고 무심해 보이는 외양을 취하듯, 탈옥 프롬프트도 겉보기에 뜻 없는 재료로 안전 장치를 우회한다는 것이다. 발표자는 폭탄 제조법을 직접 물으면 즉시 거절하는 모델이, 단어들의 첫 글자를 모아 답하라는 식의 우회 프롬프트에는 일단 답을 시작해 버리는 사례를 들었다. 무의미한 문자열을 섞어 안전 계층을 흐리거나 '즉시 답하라'고 지시해 단계적 사고를 막는 기법도 같은 계열이다. 검열이 강할수록 왜곡이 커지고 결과물은 더 무심해 보인다는 프로이트의 관찰을, 모델이 상업화될수록 출력이 매끄럽지만 무미건조해지는 현상과 겹쳐 읽었다.

오후 첫 강연에서 애비게일 제이컵스는 사회과학의 측정 이론을 빌려, 공정성·성별·유해성 같은 개념이 시스템 안에서 수치와 분류로 구현되는 과정 자체가 통치라고 주장했다. 알고리즘 공정성 연구가 인종 범주를 어떻게 조작적으로 정의하는지, 모션 캡처와 컴퓨터 비전이 신체를 측정해 온 100년의 역사가 어떤 표준을 물려주는지, LLM 사전학습 데이터 구축이 사실상 어떤 자료를 모으고 무엇을 '고품질'로 볼지 정하는 기록 보관 행위인지 사례로 들었다. 소수 기업의 아카이브 결정이 곧 지식 인프라의 성격을 정한다는 것이다.

마지막으로 메르세데스 분츠는 레드팀 연구를 '증상적으로' 읽었다. 키워드 필터링이 LLM에 잘 듣지 않는 이유는, 모델이 대부분의 연산을 고차원 벡터 공간의 높은 추상 수준에서 수행하다가 마지막 층에서야 단어 토큰으로 되돌아오기 때문이다. 특정 토큰을 막아도 모델은 다른 경로로 같은 뜻을 우회해 표현한다. 소쉬르식 언어가 대립 관계로 의미를 만든다면 계산된 언어는 근접성과 각도, 정도의 문제로 작동한다는 것이다. 시스템 프롬프트와 사용자 프롬프트도 수학적으로는 구분되지 않고 같은 표현 공간에서 섞이기 때문에, 긴 대화에서 초기 지시가 힘을 잃는 현상이 생긴다. 그는 특징(feature)을 증폭해 모델이 자신을 금문교라고 믿게 만든 실험을 들며, 생성 언어는 조종하고 방향을 틀 수는 있어도 완전히 통제할 수는 없는 '방향의 기하학'이라고 결론지었다.

질의응답은 이 분야의 정체성 문제로 옮겨갔다. 컴퓨터과학과 산업계의 어휘를 빌려 쓰는 것이 기회인지 한계인지, 인문학이 '윤리 담당 부서'로 소비되는 것은 아닌지에 대한 질문이 나왔다. 제이컵스는 그 어휘가 이미 정책 결정자와 시스템 구매자에게 그대로 옮겨가고 있으므로 무엇을 어떤 말로 부르는지 감시하는 일이 중요하다고 답했고, 분츠는 윤리가 인문학에만 있고 공학자는 비윤리적이라는 구도에 불편함을 표했다. 마지막 발언자는 특정한 언어 능력을 인간성의 기준으로 삼는 논법이 가장 위험하다며, 사람은 처음부터 말하지 않고 끝까지 말하지 않기도 한다는 점을 상기시켰다.

주요 인사이트

• AI를 단절적 사건이 아니라 관료제·기록 관리의 연속으로 보는 시각은, LLM을 '이상적인 지식 노동자'로 상상하는 기업의 논리가 사실 관료제만큼 오래된 효율성 이상임을 드러낸다.
• 'AI 슬롭'의 문제를 소비가 아닌 유통으로 옮겨 보면, 아무도 읽지 않는 생성물이 대량으로 쌓이는 현상이 조직의 정보 처리 능력에 대한 스트레스 테스트로 해석된다.
• 검열과 정렬을 겹쳐 읽는 관점은 탈옥이 왜 계속 성공하는지 설명한다. 억압은 내용을 없애는 것이 아니라 표현 경로를 바꾸기 때문에, 우회로는 늘 남는다.
• 측정이 통치라는 주장은 기술 문서의 지표 하나하나가 정치적 결정이라는 뜻이다. 무엇을 고품질 데이터로 볼지 정하는 선택이 곧 모델 출력의 편향으로 이어진다.
• 대립이 아니라 근접성으로 의미를 만드는 계산된 언어에서는 단어 차단이 통하지 않는다. 안전 장치를 출력층이 아니라 내부 표현 수준에서 다뤄야 한다는 최근 흐름의 이유가 여기에 있다.
• 시스템 프롬프트와 사용자 입력이 수학적으로 구분되지 않는다는 지적은 프롬프트 인젝션 방어의 근본적 한계를 설명해 준다. 지시의 위계는 사람이 투영한 것이지 모델 내부의 구조가 아니다.

자주 묻는 질문

관련 AI 소식