마이클 조던 인터뷰 - 초지능 대신 시장, 머신러닝에 경제학적 사고가 필요한 이유

핵심 메시지

• 조던은 AI 연구자가 아니라 인지과학자 데이비드 루멜하트의 제자로 출발했고, 처음부터 불확실성과 편향을 다루는 '엔지니어'가 되고자 했다.
• 그는 역전파가 제어이론의 상태·공동상태 방정식과 같은 아이디어임을 알아채고 순방향 모델(world model)을 이용한 제어기 학습을 초기에 제안했다.
• MIT와 버클리를 거치며 변분법(variational methods)을 머신러닝에 정착시켰고, 이는 오늘날 확산모델과 VAE 안에 그대로 살아 있다.
• 그는 대형언어모델이 답을 내면서 자신의 확신도를 제대로 말하지 못하는 것을 통계적 사고의 결여로 본다.
• 조던이 제시하는 다음 단계는 하나의 초지능이 아니라, 서로 다른 정보와 유인을 가진 수많은 참여자가 거래하는 시장형 시스템이다.

쉽게 이해하기

'머신러닝, 우리는 어떻게 여기까지 왔나' 팟캐스트에서 진행자 톰 미첼은 1990년대와 2000년대 머신러닝의 가장 중요한 변화로 통계학과 확률론의 유입을 꼽고, 그 흐름을 이끈 마이클 I. 조던을 초대했다. 조던은 미국 국립과학원과 공학한림원 회원이며 현재 프랑스 Inria 연구 책임자이자 UC 버클리 명예교수다.

조던은 자신이 AI에서 출발하지 않았다고 말한다. 그는 UCSD에서 역전파를 재발명한 인지과학자 데이비드 루멜하트의 옆방을 쓰던 학생이었고, '만들어서 되게 하자'보다 '깊이 이해하자'는 태도를 물려받았다. 역전파로 평균제곱오차가 계속 떨어지는 것을 보며 대규모 학습이 큰 흐름이 되리라 직감했지만, 정작 본인은 그 주변을 감싸는 공학—불확실성, 편향, 여러 데이터셋과 여러 주체—을 맡겠다고 마음먹었다고 회고한다.

MIT 시절 그는 역전파가 최적제어의 공동상태 방정식과 같은 구조라는 점을 알아차렸다. 그래서 행동이 어떤 결과를 낳는지 학습한 '순방향 모델'을 고정해 두고 그 뒤로 오차를 역전파해 제어기를 학습시키는 방식을 루멜하트와 함께 제안했다. 그는 요즘 유행하는 월드 모델 논의가 이 오래된 작업을 인용하지 않는다고 아쉬워하면서도, 제어이론만으로는 부족하다고 못 박는다. 상대가 사람이라면 상호작용에 게임이론적 성격이 끼어들기 때문이다.

그가 가장 자랑스러워하는 성과는 변분법이다. 다루기 힘든 문제를 조금 변형해 최적화 문제들의 공간으로 바꾸고 그중 가장 가까운 근사를 찾는 이 접근은 물리학의 평균장 이론에서 왔지만, 조던의 MIT 그룹은 이를 방향성 그래프(시그모이드 신념망)까지 확장했다. 그는 이 갈래가 오늘날 확산모델, 변분 오토인코더, 여러 병목 기법 안에 '보이지 않게' 들어가 있다고 말한다.

1998년 버클리로 옮긴 이유도 통계학이었다. 확률적 경사하강법은 1950년대 통계학자들이 만들었고 인과추론은 1920년대로 거슬러 올라간다며, 그는 새 아이디어가 떠오를 때마다 열에 아홉은 이미 통계 문헌에 있더라는 경험을 들려준다. 그 관점에서 그는 지금의 대형언어모델이 얼마나 확신하는지 묻는 질문에 근거 없이 과신하는 답을 내놓는 것을 통계적 쟁점에 대한 이해 부족으로 진단한다.

규모의 변화에 대해서는 다소 냉정하다. 20~30년 전 아마존은 이미 방대한 공급망 데이터에 랜덤 포레스트를 돌리기 위해 여러 대의 컴퓨터를 묶는 구조를 만들었고, 그것이 클라우드의 출발점이었다는 것이다. 공급망 데이터를 웹의 인간 언어로, CPU를 GPU로, 랜덤 포레스트를 신경망으로 바꾸면 본질적으로 크게 달라진 것은 없고, 다만 출력이 배송 계획 대신 사람의 말이 되면서 세상이 놀랐을 뿐이라는 평가다.

그가 최근 내놓은 10쪽짜리 글의 제목은 '집단주의적 경제 관점에서 본 AI'다. 지능의 상당 부분은 사회적 지능이며, 내가 무엇을 할지 아는 것은 내가 다 알아서가 아니라 누구에게 물어야 할지 알기 때문이라는 것이다. 언덕 위의 초지능은 지금 당신 집에서 벌어지는 국지적 정보를 알 수 없고, 우리 상호작용의 대부분은 그렇게 맥락적이다. 그래서 그는 단일 초지능이라는 관념을 깨고 정보 비대칭이 존재하는 시장으로 보아야 한다고 주장한다.

이 관점에서 규제의 대상도 달라진다. 신경망의 출력을 상자에 가두는 대신, 시스템 전체가 도달하는 균형(equilibrium)이 사회적 후생을 높이는지 묻고 나쁜 균형을 규제하자는 것이다. 그는 계산적 사고, 추론적 사고, 경제학적 사고라는 세 축을 갖춘 사람이 있어야 실제로 작동하는 시스템이 만들어지며, 그렇지 않으면 사람들이 시스템을 악용하고 실패가 반복된다고 말한다.

주요 인사이트

• 조던은 머신러닝을 하나의 학문 분야라기보다 화학공학처럼 여러 분야를 끌어와 문제를 푸는 공학적 활동으로 본다. 그는 '과학'만 떠받들고 '공학'을 낮춰 보는 통념이 이 분야의 발전을 왜곡했다고 지적한다.
• 그는 자신의 이상을 개미집에 비유한다. 지능은 각 노드가 아니라 전체 시스템에 있으며, 개별 개미는 똑똑하지 않아도 개미집 전체는 많은 일을 해낸다는 것이다. 다만 집단지능 연구와 달리 그는 사람들의 효용함수를 바꾸지 않고 존중한 채 높은 효용을 주는 시스템을 만들고 싶어 한다.
• 조직행동론은 경제학의 일부이며, 상사가 목표만 정한다고 일이 되지 않고 계약이라는 유인 메커니즘이 필요하다는 미시경제학의 도구가 머신러닝 인력에게도 경사하강법만큼 익숙해져야 한다는 것이 그의 주장이다.
• 사람과 AI가 섞인 조직은 기존 회사와 다른 형태가 될 것이며, 과거에는 너무 복잡해 실행하지 못했던 정교한 메커니즘을 이제 시도할 수 있다고 그는 본다.
• 그는 라이스대 알리레자 파할라와 함께 쓴 '통계적 공정성-정확도 트레이드오프 곡선' 논문을 예로 든다. 경제학의 공정성-정확도 곡선은 확률분포를 안다고 가정하지만, 실제로는 데이터로 추정해야 하므로 원하는 지점에 그대로 도달할 수 없다는 것이다.
• 구글이 만든 '연합학습'이라는 말은 원래 기기의 데이터를 모아 큰 모델을 만드는 관점이었지만, 조던은 그 반대로 가장자리에 있는 사람들이 시스템에서 가치를 얻고 있는지를 묻는다. 그는 작가·음악가가 대가를 받지 못하는 현실을 지적하며, 앤트로픽이 저자들에게 보상하기로 한 합의를 옳은 출발점이라고 평가했다.
• 박사과정 지망생을 향한 그의 조언은 '나 같은 사람 말을 듣지 말라'다. 돈을 먼저 벌고 나중에 좋은 일을 하겠다는 순서를 버리고, 처음부터 자기 가치관대로 세상을 낫게 하는 기술을 만들라는 것이다.

자주 묻는 질문

관련 AI 소식