다리오 아모데이 인터뷰 정리: 스케일링 가설, 데이터센터 속 천재들의 나라, 그리고 컴퓨트 베팅의 딜레마

핵심 메시지

• 아모데이가 지난 3년간 가장 놀랐던 것은 기술의 진보 속도 자체가 아니라, 우리가 지수 곡선의 끝에 얼마나 가까이 와 있는지를 대중이 거의 인식하지 못한다는 점이었다.
• 그는 2017년에 쓴 '거대한 연산 덩어리 가설'을 지금도 유지한다. 연산량, 데이터의 양, 데이터의 질과 분포, 학습 기간, 무한히 확장 가능한 목적함수, 그리고 수치 안정화 같은 몇 가지 요소만 중요하고 영리한 기법은 크게 중요하지 않다는 것이다.
• 그는 10년 안에 '데이터센터 속 천재들의 나라'가 등장할 확률을 90%로 보고, 직감으로는 1~2년, 넉넉히 잡아 1~3년을 이야기한다. 다만 이 짧은 쪽 예측은 50 대 50 수준의 감이라고 스스로 못 박는다.
• 기술이 빠르더라도 경제로 퍼지는 속도는 '무한히 빠르지는 않다'는 것이 그의 핵심 논지다. 그래서 매출이 1년만 예상보다 늦게 따라와도 파산할 수 있는 컴퓨트 선구매 문제 앞에서 그는 의도적으로 보수적인 규모를 택했다고 말한다.
• 그는 주 정부의 AI 규제를 10년간 전면 금지하되 연방 차원의 대안은 없는 방식에 반대했고, 대신 연방 정부가 실제 기준을 제시하고 그 기준으로 주를 통일하는 방식이라면 지지하겠다고 밝혔다.

쉽게 이해하기

드워케시 파텔이 3년 만에 다시 앤스로픽 CEO 다리오 아모데이를 만난 2시간 반 분량의 대담이다. 첫 질문은 지난 3년간 가장 크게 바뀐 인식이 무엇이냐는 것이었다. 아모데이는 기술 곡선 자체는 대체로 예상대로 흘러갔다고 답했다. 모델이 똑똑한 고등학생에서 대학생으로, 다시 박사·전문가 수준으로 올라가는 흐름은 위아래로 1~2년 오차 안에 있었다는 것이다. 오히려 그를 놀라게 한 것은 곡선의 끝이 이렇게 가까운데도 안팎의 사람들이 여전히 예전과 같은 정치적 논쟁을 하고 있다는 사실이었다.

스케일링에 관한 그의 입장은 2017년에 쓴 사내 문서 '거대한 연산 덩어리 가설'에서 크게 변하지 않았다. 당시 GPT-1이 막 나왔고 로보틱스와 알파고·알파스타 같은 강화학습이 별개의 흐름이던 시절, 그는 정말 중요한 요소는 일곱 가지뿐이며 온갖 기법은 부차적이라고 정리했다. 지금 사전학습에 이어 강화학습에서도 학습 시간에 따라 성능이 로그 선형으로 올라가는 같은 패턴이 관찰된다는 것이 그의 근거다. 그는 강화학습 환경을 구축하는 목적이 특정 기술을 하나씩 가르치는 것이 아니라, 사전학습이 그랬듯 폭넓은 데이터로 일반화를 끌어내는 것이라고 설명한다.

리처드 서튼처럼 '진짜 인간적 학습이라면 이렇게 많은 데이터와 환경이 필요할 리 없다'고 보는 반론에 대해, 아모데이는 흥미로운 퍼즐이지만 결정적이지는 않다고 답한다. 그는 사전학습을 인간의 학습이 아니라 진화와 학습 사이 어딘가에 놓인 과정으로 보자고 제안한다. 인간의 뇌는 백지가 아니라 진화가 준 사전 구조를 갖고 태어나지만 언어모델은 문자 그대로 무작위 가중치에서 출발한다는 것이다. 반면 100만 토큰짜리 문맥 안에서 벌어지는 맥락 내 학습은 인간의 단기·장기 학습 사이 어딘가에 해당한다고 본다.

소프트웨어 개발 자동화를 두고 두 사람은 길게 부딪힌다. 아모데이는 자신이 8~9개월 전 '3~6개월 안에 코드의 90%를 모델이 쓸 것'이라고 한 예측이 앤스로픽 안에서는 실현됐지만, 이것은 매우 약한 기준이라고 강조한다. 그가 제시한 스펙트럼은 코드 줄 수의 90%, 100%, 그다음 컴파일·클러스터 구축·테스트·문서 작성까지 포함한 전체 업무의 90%, 100%, 그리고 마지막으로 개발자 수요가 90% 줄어드는 단계다. 진행자가 METR 연구를 인용해 숙련 개발자가 AI를 쓸 때 체감 생산성은 올라갔지만 실제 산출은 20% 줄었다고 지적하자, 아모데이는 앤스로픽 내부에서는 결과가 모델 출시라는 형태로 몇 달마다 드러나기 때문에 착각할 여지가 없다고 반박한다. 다만 그는 현재 코딩 모델이 주는 총요소 가속을 15~20% 정도로, 6개월 전에는 5% 정도로 추정한다며 눈덩이가 이제 막 굴러가기 시작한 단계라고 말한다.

대담의 후반부는 돈과 정책이다. 앤스로픽 매출은 2023년 0에서 1억 달러, 2024년 1억에서 10억, 2025년 10억에서 90~100억 달러로 매년 10배씩 늘었고 올해 1월에도 수십억 달러가 더 붙었다고 그는 밝힌다. 그런데도 연 1조 달러어치 컴퓨트를 사지 않는 이유는, 성장률이 10배가 아니라 5배이거나 시점이 1년만 밀려도 지구상 어떤 헤지 수단으로도 파산을 막을 수 없기 때문이다. 규제에 대해서는 주 정부 규제를 10년간 봉쇄하면서 연방 차원의 대안은 내놓지 않는 접근에 반대했다고 설명하며, 투명성 기준부터 시작하되 위험이 확인되면 매우 빠르게 움직여야 한다고 말한다. 미중 문제에서는 대중 반도체 수출 통제를 지지하고, 데이터센터와 칩은 몰라도 질병 치료제는 팔 수 있다는 식의 세분화된 선택지를 제안한다.

주요 인사이트

• 아모데이의 낙관과 신중함은 모순이 아니라 두 개의 서로 다른 지수 곡선에서 나온다. 하나는 모델 능력의 곡선이고 다른 하나는 그 능력이 경제로 퍼지는 확산의 곡선이다. 그는 두 곡선 모두 역사상 어떤 기술보다 가파르지만 '무한히 빠르지는 않다'고 반복해서 말하며, 이 간극이 컴퓨트 투자 규모를 결정한다고 설명한다.
• 그는 수익성을 사업 단계의 지표로 보지 않는다. 컴퓨트의 절반은 학습, 절반은 추론에 쓰이고 추론 마진이 50%를 넘는다고 가정하면, 수요를 정확히 맞히면 흑자이고 과대 예측하면 적자일 뿐이라는 것이다. 즉 흑자는 '투자를 덜 했다'는 신호에 가깝고, 개별 모델은 이미 흑자지만 다음 모델 학습 비용 때문에 회사가 적자라는 구조로 현재를 설명한다.
• 산업 구조에 대한 그의 전망은 클라우드와의 유비다. 진입 자본과 요구 역량이 워낙 커서 3~4개 사업자로 수렴하고, 완전경쟁의 제로 마진으로 떨어지지 않는다는 것이다. 다만 모델은 클라우드보다 서로 차별화되어 있다고 본다.
• 규제에 대한 그의 태도는 '느슨하게 시작하되 나중에 민첩하게'로 요약된다. 지금은 투명성 기준부터 깔고, 생물테러 같은 위험의 증거가 실제로 나타나면 그때 매우 빠르게 규제를 붙이자는 것이다. 그가 긴급함을 강조하는 에세이를 쓰는 이유도 입법 과정이 원래 민첩하지 않기 때문이라고 말한다.
• 그가 가장 걱정하는 것은 총량이 아니라 분배다. 성장과 경제적 가치는 쉽게 오지만 그 혜택의 분배와 정치적 자유는 저절로 오지 않는다는 것이 그의 정책관이다. 실리콘밸리와 그 주변만 50% 성장하고 나머지는 그대로인 세계, 그리고 개발도상국이 뒤처지는 세계를 그는 구체적인 위험으로 꼽는다.
• 인터뷰 말미에 그는 훗날 이 시기를 다룰 역사가가 가장 놓치기 쉬운 것으로 세 가지를 든다. 매 순간 바깥세상이 이 일을 얼마나 이해하지 못했는지, 이 세계가 얼마나 폐쇄적이었는지, 그리고 모든 것이 동시에 얼마나 빠르게 벌어졌는지다.

자주 묻는 질문

관련 AI 소식