문화로서의 AI: 사회 기술·벤치마크 문화·기업 계약·임베딩으로 다시 읽는 언어모델

핵심 메시지

• 발표자들은 초지능이 언제 오느냐를 둘러싼 논쟁이 오히려 지금 벌어지는 변화를 못 보게 만든다며, AI를 문화와 사회의 기술로 읽는 틀을 제안했다.
• 언어모델은 복잡한 세계를 다룰 수 있게 거칠게 요약해 주는 장치라는 점에서 시장이나 관료제와 같은 계열의 사회 기술로 볼 수 있다.
• 머신러닝은 이론보다 평가 문화 위에 서 있는 분야이며, 과제가 정해지지 않은 범용 모델이 등장하면서 그 평가가 눈에 띄게 임기응변이 됐다.
• 기업에서 쓰이는 AI는 상사와 비서의 비유로 이야기되지만 실제로는 회사 사이의 계약 관계이고, 그 계약이 책임 소재를 가린다.
• 임베딩은 무엇이든 서로 비교 가능한 공간에 밀어 넣는 기술이며, 이 강제된 등가성이 문화적 산물의 성격을 바꿔 놓는다.

쉽게 이해하기

뉴욕대 디지털이론연구소가 사흘간 연 컬처럴 AI 컨퍼런스의 첫 패널이다. 주최 측은 몇 해 전만 해도 모델 하나를 공개하는 일이 소소한 사건이었는데 지금은 국방 부문의 내부 시스템부터 에이전트끼리 노동 문제를 토론하는 실험적 서비스까지 범위가 넓어졌다고 짚으며, 이 변화를 문화의 문제로 다루는 접근들이 이미 여러 갈래로 자라고 있다고 소개했다. 문화 기술론, 상호작용론, 구조주의, 역할극 관점이 그 예로 언급됐다.

첫 발표자인 정치학자 헨리 패럴은 코스마 샬리지와 함께 쓴 논문을 소개하며, AI를 러브크래프트식 괴물로 그리는 서사가 논쟁을 짓누르고 있다고 비판했다. 대안으로 그는 허버트 사이먼을 불러온다. 사람은 계산 능력이 크지 않은데 세계는 지나치게 복잡하므로, 우리는 머릿속 어림짐작뿐 아니라 시장이나 관료제 같은 외부 장치를 만들어 그 복잡성을 견딜 만한 형태로 성기게 줄여 왔다는 것이다. 언어모델도 방대한 텍스트를 이런 식으로 줄여 놓은 장치이고, 어떤 방식으로 줄일지가 이해관계와 얽히기 때문에 정치가 생긴다는 것이 그의 논지다.

두 번째 발표자인 버클리의 벤저민 렉트는 머신러닝을 예시로부터의 예측이라는 한 줄로 정의한 뒤, 이 분야가 수학적 보증이 아니라 강력한 평가 문화 위에 서 있다고 말했다. 데이터를 공유하고 그 위에서 경쟁하는 방식이 분야를 밀어 왔고, 단백질 구조 문제를 풀었다는 말도 실제로는 특정 벤치마크에서 다른 모든 방법보다 낫다는 뜻이라는 지적이다. 그는 과제가 정해지지 않은 범용 모델을 어떻게 평가할 것인가가 지난 5년의 가장 큰 변화이며, 논문 형식을 흉내 낸 보도자료와 표준화 시험 점수 자랑이 그 자리를 대신했다고 봤다.

인류학자 릴리 첨리는 텍스트를 남에게 대신 쓰게 하는 관계가 전혀 새롭지 않다는 데서 출발했다. 비서가 받아 적은 편지가 정확한지, 잘되면 누구의 공이고 잘못되면 누구의 책임인지를 둘러싼 오래된 불안이 지금 언어모델을 둘러싼 불평과 그대로 겹친다는 것이다. 그가 강조한 것은 기업에서 쓰이는 AI가 사용자와 도구의 관계가 아니라 회사와 회사 사이의 계약 관계라는 점이다. 계약을 해지할 권한이 없고 오히려 사용이 의무인 직원에게 오류를 찾아낼 책임이 지워지는데, 매끄럽게 완성된 출력일수록 오류를 찾기는 더 어려워진다.

마지막 발표자인 파비안 오퍼트는 언어모델을 압축 시스템으로 읽는 논의를 이어받았다. 손실 압축은 무엇을 버릴지 정하는 순간 나름의 가치 이론을 품게 되며, 신경망의 압축은 데이터가 아니라 지식을 다루고 기존 지식을 복원하는 데 그치지 않고 새 지식을 만들어 내려 한다는 점에서 성격이 다르다는 것이다. 그는 임베딩이 서로 다른 것을 같은 잣대로 견줄 수 있게 만드는 기술이라는 점에서 교환가치의 논리와 닮았다고 보고, 이미지가 임베딩이 되는 순간 다른 모든 데이터와의 상대적 위치로만 의미를 갖게 되어 원래의 매체적 성격을 잃는다고 주장했다.

주요 인사이트

• 관료제를 AI로 대체하겠다는 구상의 실제 결과는 자동화된 국가가 아니라, 담당자가 문서를 챗봇에 붙여 넣고 특정 성향인지 물어보는 풍경이었다는 지적이 나왔다.
• 머신러닝에서는 X로 Y를 예측할 수 있다는 주장은 논문이 되지만, 예측할 수 없다는 주장은 원리상 반박이 불가능해 논문이 되지 못한다. 이 비대칭이 분야의 낙관을 구조적으로 떠받친다.
• 벤치마크로 흥한 분야는 벤치마크로 망하기도 한다. 발표자는 한 대형 기술기업이 평가에서 부정을 저질렀다는 논란 이후 신뢰를 회복하지 못한 사례를 들었다.
• 사용자, 상사, 소유자 같은 자연스러운 비유는 프롬프트와 출력이 사실은 계약 당사자끼리 만나는 자리라는 사실을 가린다. 계약의 비밀유지 조항이 그 은폐를 거든다.
• 기업용 AI 문제를 또 다른 기업용 AI로 막는 구조가 반복되면서, 조직이 백 개의 솔루션을 껴입은 형태가 되어 간다는 비유가 제시됐다.
• 임베딩 공간이 문화의 단일한 기준이 되지는 못한다. 수천 개 모델의 벡터 공간이 서로 호환되지 않은 채 경쟁하고 있어 공통 환산 기준이 존재하지 않기 때문이다.

자주 묻는 질문

관련 AI 소식