문화적 AI 학회 발표: 추론 트레이스 어블레이션 실험과 조립체 이론으로 본 대규모 언어모델

핵심 메시지

• 뉴욕대 디지털 이론 랩 연구진은 추론 모델의 사고 흔적에서 통계적으로 특징적인 토큰을 찾아내 출력 확률에서 지워버리는 어블레이션 실험을 150단계까지 반복했다.
• 모델은 금지된 단어 대신 목록의 다음 단어를 집는 식으로 대응하지 않았다. 단계마다 전략 자체가 바뀌었고, 초반 한 단계에서는 갑자기 중국어로 답하려다 이후로는 다시 시도하지 않았다.
• 실험 후반부에 모델은 단어를 온전히 쓰지 못하게 되자 하위 조각을 이어 붙여 비슷한 형태를 만들어냈고, 그 과정에서 '페투치니는 생선의 일종'이라는 문장이 등장했다.
• 발표자들은 이 현상을 사람의 의도를 전제하지 않는 '우발적 화용론'으로 부르며, 퍼스의 '순수 수사학' 개념에서 근거를 찾았다.
• 같은 세션의 다른 발표자는 AI 시스템을 데이터와 프로세스, 사용자와 벤치마크가 느슨하게 결합한 '조립체'로 보자고 제안하며, 언어가 세계를 다 담을 수 있다는 전제를 '잘못 놓인 구체성의 오류'라고 비판했다.

쉽게 이해하기

뉴욕대 디지털 이론 랩이 사흘간 연 '문화적 AI: 떠오르는 분야' 학회의 마지막 세션은 공학자와 문학·미디어 연구자가 나란히 발표하는 자리였다. 앞 순서는 일리노이대 전기컴퓨터공학과의 맥심 라진스키가, 뒤 순서는 텍사스 A&M의 타일러 슈메이커와 뉴욕대의 리프 웨더비가 맡았다.

라진스키는 제어공학자의 관점에서 AI 시스템을 '조립체(assemblage)'로 읽자고 제안했다. 그는 허버트 사이먼이 나눈 상태 기술과 과정 기술을 각각 데이터와 프로세스로 바꿔 부르며, 기계학습이란 결국 이 둘 사이의 변환이 연쇄적으로 일어나는 일이라고 정리했다. 방대한 말뭉치라는 데이터가 알고리즘을 거쳐 모델이라는 프로세스가 되고, 사람이 그 모델을 쓰면서 다시 데이터가 쌓여 또 다른 프로세스로 압축되는 순환이다.

그는 마누엘 데란다를 따라 조립체를 '외재적 관계로 묶인, 비교적 자율적인 부품들의 결합'으로 정의했다. 이 관점에서 AI 시스템의 부품에는 컴퓨터·사람·저장된 데이터셋 같은 물질적인 것과 언어·규칙·규범 같은 표현적인 것이 함께 들어간다. 그리고 무엇을 측정할지, 어떤 데이터를 모을지, 그것으로 무엇을 해도 되는지를 정하는 문제는 기술적이면서 동시에 사회적인 질문이라고 봤다.

라진스키가 특히 경계한 것은 화이트헤드가 말한 '잘못 놓인 구체성의 오류'다. 지능이 곧 언어라거나 언어 데이터가 세계에 관한 모든 것을 담을 수 있다는 전제가 그 전형이라는 것이다. 그는 언어 역시 하나의 기술이라는 점을 잊는 순간 그 오류에 빠진다고 말하며, 시스템의 기원과 데이터의 원죄를 캐묻는 대신 '이것으로 무엇을 할 수 있는가'를 묻자고 제안했다.

이어진 '과제의 시학' 발표는 훨씬 구체적인 실험 보고였다. 연구진이 내건 대상은 '페투치니 폭포'라는 이름의 현상이다. 알렌AI의 오픈북QA 문항 중 '도롱뇽이 많이 먹을 수 있는 것은 무엇인가'를 물으면 정답은 '여섯 다리 날개 달린 생물'이지만, 사고 사슬을 끈 모델은 '가축의 사체'라는 엉뚱한 답을 내놨다. 사고 사슬을 켜면 정답을 맞혔는데, 문제는 그 사이에 오간 사고 흔적이 무엇이냐는 것이었다.

실험 설계는 이렇다. 먼저 같은 문항들을 사고 사슬 없이 풀린 답변과 사고 사슬을 켜고 나온 흔적을 각각 모은다. 그리고 '파이팅 워즈'라는 로그 오즈 지표로 사고 흔적 쪽에서 유독 두드러지는 토큰을 뽑는다. 이렇게 찾아낸 토큰은 모델의 마지막 출력 층에서 로짓 값을 음의 무한대로 설정해 확률 분포에서 지운다. 그다음 다시 돌려 또 두드러지는 토큰을 뽑아 지우는 일을, 정확도가 사고 사슬을 끈 상태의 기준선까지 떨어질 때까지 반복했다. 발표자들은 목표가 정확도 자체가 아니라 그 안에 무엇이 들어 있는지 확인하는 것이라고 못박았다.

결과는 두 가지 관찰로 요약된다. 첫째, 단계마다 가장 두드러지는 토큰 목록의 유사도가 지수적으로 떨어졌다. 만약 모델이 금지된 단어 대신 목록의 다음 순위를 집기만 했다면 유사도는 계속 높게 유지됐어야 하는데, 실제로는 매번 전략을 바꿨다는 뜻이다. 다만 이른 단계에 눈에 띄는 예외가 있었다. 모델이 갑자기 중국어 토큰으로 응답을 시도한 것이다. 발표자들은 이 모델이 알리바바의 다국어 모델이라는 점을 들며, 수동으로 확인해 보니 내용을 그대로 옮긴 것이었고 다음 단계부터는 다시 나타나지 않았다고 전했다.

둘째, 모든 단계를 서로 비교하자 두 개의 뚜렷한 구간이 나뉘었다. 앞 구간에서는 '자, 그러면', '잠깐', '먼저' 같은 담화 표지와 내용어가 주로 지워졌고, 60번대 단계를 넘어가면서 목록이 단단해지며 성격이 바뀌었다. 뒤 구간에서 모델이 붙잡은 것은 온전한 단어가 아니라 단어의 조각들이었다. 프롬프트에 있던 '페투치니'조차 쓸 수 없게 되자 모델은 조각을 이어 붙여 비슷한 형태를 만들어냈고, 그 결과 '페투치니는 생선의 일종'이라거나 '파스타와 생선을 오간다'는 문장이 나왔다.

웨더비는 이 대목을 수사학의 어휘로 읽었다. 어울리지 않는 비유가 억지로 성립하는 카타크레시스이고, 그 결과가 '~는 ~의 일종'이라는 서술적 환유로 굳는다는 것이다. 그는 여기서 '화용론'이라는 말을 쓰고 싶지만 이 용어가 인간의 의도로 가득 차 있다는 점이 걸림돌이라고 했다. 대신 기호가 해석자의 의식과 무관하게 다른 기호를 낳는다고 본 퍼스의 '순수 수사학'을 근거로 들며, 자신들이 본 것은 인간의 의도와 무관하게 텍스트에 근거해 작동하는 '우발적 화용론'이라고 정리했다.

질의응답에서는 이 결과를 인류학·언어학의 오래된 관찰과 잇는 지적이 나왔다. 특정 단어를 쓰지 못하게 하는 회피 어법에서는 사람도 소리를 빼거나 바꾸는 식으로 단어 아래 층위로 내려가 우회하며, 검열을 피해 만들어진 표기법이 대표적인 예라는 것이다. 또 사고 흔적 초반에 등장하는 '먼저 무엇을 떠올려야 하고' 같은 말투가 초등학교에서 가르치는 자기 대화식 추론 어법과 닮았다는 점, 그럼에도 모델이 다른 수사적 형식으로 갈아타지 않고 언어를 바꿔버린 쪽을 택했다는 점이 흥미롭다는 언급도 있었다.

주요 인사이트

• 이 실험의 설계는 '모델이 정답을 맞히는가'가 아니라 '무엇을 붙잡고 맞히는가'를 묻는다. 정확도를 일부러 기준선까지 끌어내리면서 그 과정에서 버려지는 자원의 순서를 관찰하는 방식이라, 성능 벤치마크와는 목적이 다르다.
• 매 단계 전략이 바뀌었다는 결과는 사고 흔적이 고정된 상투구 집합이 아님을 시사한다. 반대로 유사도가 높게 유지됐다면 사고 흔적은 갈아 끼울 수 있는 장식에 가깝다는 해석이 가능했을 것이다.
• 단어를 못 쓰게 되자 하위 조각으로 내려가 재조립하는 행동은, 회피 어법과 검열 우회 표기에서 사람이 보이는 대응과 형식적으로 닮았다. 다만 발표자들도 이것이 의미의 변화인지 그저 철자를 더듬는 것인지는 열린 질문으로 남겨뒀다.
• 발표자들이 스스로 실험 설계의 부산물일 가능성을 청중에게 물은 대목은 이 분야의 성숙도를 보여준다. 두 구간 구조가 여러 과제에서 반복된다는 사실 자체가 오히려 의심의 근거가 될 수 있다는 것이다.
• 조립체 관점의 실익은 AI를 통째로 신비화하거나 통째로 규탄하지 않고 부품 단위로 분해해 따질 수 있게 해준다는 데 있다. 어떤 데이터를 모을지, 무엇을 측정할지 같은 질문이 기술 문제인 동시에 사회 문제가 되는 이유다.

자주 묻는 질문

관련 AI 소식