AI 데이터센터의 진짜 병목은 네트워크 — NVLink·인피니밴드·DPU와 엔비디아 독점 구조

핵심 메시지

• AI 모델이 커지면서 계산을 여러 GPU에 쪼개 나누게 됐고, 그 결과 GPU끼리 주고받는 통신량이 폭발적으로 늘었다.
• 엔비디아는 GPU만 만드는 회사가 아니다. 보드와 스위치, 네트워크 카드까지 직접 만들어 시스템을 통째로 판다.
• 네트워크 장비가 아무리 빨라져도 이를 처리하는 소프트웨어는 CPU가 돌리기 때문에 CPU가 병목이 된다. 그 일을 대신 떠맡는 것이 DPU다.
• GPU 서버를 사면 값의 30% 안팎이 네트워크에 들어간다는 사실을 사는 쪽도 잘 모른다. 발표자는 정부가 이 구조를 알고 도입 결정을 내려야 한다고 강조했다.
• 특정 회사의 독점 규격 대신 표준 프로토콜만으로 가속하면 어떤 GPU나 NPU도 꽂을 수 있는 인프라가 된다는 것이 발표자가 제시한 대안이다.

쉽게 이해하기

소프트웨어정책연구소(SPRi)의 2026 SW 산업전망 컨퍼런스에서 김장우 망고부스트 대표가 발표에 나섰다. 그는 서울대 전기정보공학부 교수이기도 해서, 발표의 앞부분은 교수 모드로 AI 컴퓨터의 구조를 설명하고 뒷부분은 스타트업 대표로서 자기 회사의 해법을 소개하는 방식으로 진행됐다. 출발점은 단순한 사실이다. 우리가 관심을 갖는 것은 인공지능이지만, 그것을 실제로 돌리는 것은 결국 컴퓨터라는 점이다.

예전에는 모델이 크지 않아 같은 모델을 여러 GPU에 복사해 두고 데이터만 나눠주면 됐다. 각자 계산하고 결과를 합치면 되니 통신이 많이 필요하지 않았다. 그런데 모델이 커지면서 계층 단위로 자르거나 서로 다른 역할을 나눠 맡기는 방식이 등장했고, 그 순간부터 GPU들은 그림 한 장을 처리하는 데도 서로 미친 듯이 통신해야 하는 상황이 됐다. 계산기를 아무리 잘 만들어도 그것들을 연결하지 못하면 소용이 없다는 뜻이다.

서버 한 대 안에는 비싼 경우 GPU가 여덟 개까지 들어가고, 그 서버 한 대의 값이 억 단위가 된다. 서버 안에서 장치를 잇는 전통적인 통로는 PCI 계열 규격이지만 GPU가 요구하는 속도를 따라가지 못한다. 엔비디아는 여기서 GPU만 만드는 대신 자체 규격으로 통신하는 보드까지 만들어 같은 시대의 PCI보다 훨씬 빠른 대역폭을 확보했고, 서버 밖으로 나가기 위한 스위치 반도체까지 직접 만들었다. 2020년 네트워크 회사 멜라녹스를 약 70억 달러에 인수한 것이 결정적이었는데, 발표자는 그 인수가 지금 기준으로 훨씬 큰 가치를 하고 있다고 평가했다. 인피니밴드처럼 엔비디아만 쓸 수 있는 규격을 확보한 반면, 모두가 쓰는 이더넷은 상대적으로 느려 대안이 되지 못했다는 것이다.

발표의 핵심 메시지는 CPU 병목이었다. 장치들끼리 직접 대화하는 것처럼 보여도 실제로는 운영체제가 개입해 CPU가 그 일을 처리한다. GPU는 단순한 계산기를 계속 늘리는 방식이라 열 배, 백 배씩 빨라지는데, CPU가 돌리는 프로그램은 지난 10년 동안 다섯 배도 빨라지지 않았다. 그래서 저장 장치와 네트워크 카드가 아무리 빨라져도 그 속도를 운영체제가 따라가지 못한다. 해법은 네트워크 카드가 계산 기능까지 갖춰 운영체제가 맡던 일을 하드웨어로 대신 처리하는 것이고, 이렇게 똑똑해진 카드가 흔히 DPU나 스마트닉으로 불린다. 엔비디아가 이 제품군까지 갖고 있다는 점이 현재 시스템 경쟁력의 뿌리라는 설명이다.

그래서 지금 기업과 정부가 사는 것은 GPU가 아니라 시스템 한 벌이다. GPU 서버에는 GPU마다 네트워크 카드가 하나씩 붙고 여기에 저장·가상화용 카드가 더 붙어, 값의 30% 안팎이 네트워크로 들어간다. 발표자는 100억 원을 썼는데 그중 30억 원이 네트워크였다는 사실을 뒤늦게 알게 되는 상황을 예로 들며, 가격 협상 자체가 성립하지 않는 시장이 됐다고 진단했다. 그는 서울대 연구실에서 학생 15명과 함께 창업해 지금은 150명 규모가 된 자기 회사가, 특정 외국 회사의 독점 규격이 아니라 리눅스 표준 프로토콜만 가속하는 방식으로 표준 인프라를 만들고 있다고 소개했다. 처음에는 외산 GPU를 쓰더라도 나중에 국산 가속기 비율을 늘려갈 수 있는 구조여야 한다는 것이 그가 국가 데이터센터를 두고 던진 제안이다.

주요 인사이트

• 가속기 하나를 잘 만드는 경쟁은 이미 끝났다는 것이 발표자의 진단이다. 이제는 그것들을 얼마나 저렴하게 연결하느냐가 핵심 기술이 됐고, 구글의 TPU 역시 칩 하나보다 계속 이어 붙여 규모를 키우는 방식으로 발전하고 있다.
• AMD가 GPU 성능에서 따라붙어도 종합 시스템 경쟁력이 떨어지는 이유가 여기에 있다. 네트워크와 스토리지 연결 기술이 부족하기 때문이며, 그래서 이 빈자리를 메우는 회사와의 협력이 의미를 갖는다.
• 속도 감각의 차이도 크다. 국내 대기업이 초당 50~100기가비트 수준을 이야기하는 사이, GPU 서버는 GPU 하나당 400기가비트급을 쓰고 그것이 여덟 개 붙어 있는 구조로 설계된다.
• 저장 장치도 같은 문제를 겪는다. 요즘 GPU 서버 안에는 저장 장치가 없어 멀리 있는 스토리지를 자기 것처럼 보이게 하는 소프트웨어와 통신 프로토콜이 함께 돌아야 하는데, 이 프로토콜들이 무거워 가속기 없이는 시스템이 성립하지 않는다.
• 인재 문제에 대한 답도 솔직했다. 국내에서 박사를 마치고 해외로 나가면 억대 후반의 연봉이 기본이 되는 상황에서 사람을 지키기 어렵고, 미국 실리콘밸리처럼 대기업이 작은 회사를 사들이며 성장하는 문화가 국내에는 없다는 점을 구조적 차이로 짚었다.

자주 묻는 질문

관련 AI 소식