AI 시대 데이터 물류: 대역폭과 지연시간, 비행기가 인터넷을 이기는 조건 알아보기

핵심 메시지

• 유럽의 대용량 데이터를 한국으로 가장 빨리 옮기는 답이 인터넷이 아니라 비행기일 수 있는데, 이는 조건에 따른 이야기지 비행기가 언제나 빠르다는 뜻은 아니다.
• 네트워크에서는 '지연시간(첫 반응까지 걸리는 시간)'과 '대역폭(1초에 옮기는 양)'을 구분해야 한다. 오토바이 퀵과 컨테이너선의 비유가 이 차이를 잘 보여준다.
• 대용량 전송의 진짜 병목은 회선 하나가 아니라 출발지 저장장치·서버·국제망·목적지 저장장치가 이어진 시스템 전체다. 회선 숫자만 키운다고 파일이 그만큼 빨라지지 않는다.
• 비행기는 데이터를 거대한 배치로 한 번에 옮긴다. 예컨대 1페타바이트를 24시간에 운반하면 평균 대역폭이 100기가급 네트워크에 가까워진다.
• AI 시대에는 데이터에 '중력'이 있어, 커진 데이터를 옮기기보다 애플리케이션을 데이터 곁으로 보내는 편이 유리할 때가 있다. 핵심은 인터넷과 비행기 중 하나를 고르는 것이 아니라 데이터 성격에 맞게 조합하는 데이터 물류다.

쉽게 이해하기

영상은 '유럽의 65TB 데이터를 한국으로 가장 빨리 옮기는 방법은?'이라는 질문으로 시작한다. 정답이 인터넷이 아니라 비행기라는 말은 농담처럼 들리지만, 데이터 양과 회선·비용·마감 시간을 모두 따지면 저장장치를 항공편으로 보내는 편이 더 빠르고 저렴할 수 있다. 물론 양쪽에 전용 고속 회선과 이를 받쳐 줄 서버·저장장치가 갖춰져 있다면 인터넷이 이긴다. 그래서 진짜 질문은 '빛보다 훨씬 느린 비행기가 어떤 조건에서 인터넷보다 빠른 답이 되는가'이다.

이를 풀려면 지연시간과 대역폭을 나눠 봐야 한다. 지연시간은 데이터를 보낸 뒤 첫 반응이 도착하기까지의 시간이고, 대역폭은 1초 동안 옮길 수 있는 양이다. 급한 서류 한 장을 오토바이 퀵으로 보내면 금방 도착하지만 한 번에 싣는 양은 적고, 컨테이너선은 도착까지 며칠이 걸리지만 한 번에 어마어마한 양을 옮긴다. 수십 테라바이트 이상을 옮길 때는 첫 비트가 언제 도착하느냐보다 마지막 비트가 언제 도착하느냐가 중요해진다.

이론상 65TB는 1Gbps 회선을 100% 활용하면 약 6일, 10Gbps면 약 14시간 30분, 100Gbps면 약 1시간 26분에 옮길 수 있다. 하지만 이 숫자는 출발지부터 목적지까지 그 속도가 그대로 보장돼야 성립한다. 중간 사업자의 회선, 국제 구간, 혼잡, 암호화 처리, 파일 시스템, 양쪽 저장장치의 읽기·쓰기 성능이 모두 받쳐 줘야 한다. 일반 하드디스크로는 초당 수 기가바이트급 속도를 따라갈 수 없어, 여러 드라이브를 병렬로 묶거나 고성능 SSD 어레이가 필요하다.

인터넷 전송에는 흔한 오해가 있다. TCP가 데이터 하나를 보내고 응답을 받을 때까지 멈춰 있다는 설명인데, 실제 TCP는 여러 패킷을 연속해 보내 놓고 확인 응답을 받는 슬라이딩 윈도우 구조다. 멀고 빠른 회선일수록 응답이 돌아오기 전에도 도로 위에 많은 데이터가 떠 있어야 하며, 이 양을 대역폭×지연시간, 즉 BDP라 한다. 윈도우나 버퍼가 이보다 작거나 패킷 손실·혼잡 제어가 끼어들면 100기가 회선도 제대로 못 쓴다. 반면 비행기는 저장장치에 거대한 덩어리로 담아 옮기는 배치 전송이라, 지연시간은 길어도 평균 대역폭이 커질 수 있다.

이 아이디어를 실제 서비스로 만든 대표적 예가 AWS 스노우볼이다(현재 스노우볼 엣지는 신규 고객에게 제공되지 않고, AWS는 데이터 트랜스퍼 터미널이나 파트너의 물리 전송 솔루션을 안내한다). 마이크로소프트 Azure 데이터박스, 구글 클라우드 트랜스퍼 어플라이언스도 같은 원리다. 이런 서비스는 단순히 택배가 빠르다는 계산만이 아니라, 네트워크 점유 비용·전송 실패 가능성·보안과 무결성 검증까지 함께 따진 결과다. 인류 최초의 블랙홀 이미지도 각 관측소가 하루 약 350TB씩 기록한 방대한 데이터를 인터넷이 아니라 하드디스크로 상관 처리 시설까지 물리 운반해 만들어졌다. 결국 AI 시대의 데이터 이동은 광통신·전용망·캐시·압축·데이터센터 배치·물리 운송을 데이터의 중요도와 시급성에 맞게 조합하는 '데이터 물류'의 문제다.

주요 인사이트

• '회선이 넓어도 창고 출입문이 좁으면 화물을 못 꺼낸다'는 비유처럼, 대용량 전송의 병목은 네트워크 대역폭이 아니라 저장장치의 읽기·쓰기 성능일 때가 많다.
• 네트워크 교과서의 유명한 문장 '고속도로를 질주하는 테이프 가득 실은 차의 대역폭을 얕보지 마라'는, 저장 밀도가 계속 높아지면서 농담이 아니라 현실적인 조언이 됐다.
• 물리 운송으로 바꾸면 네트워크 혼잡 문제는 사라지지만, 대신 암호화·포장·인수인계·체크섬 검증 같은 물류와 보안 문제를 새로 풀어야 한다.
• 블랙홀 촬영 사례는 통신 속도만 빨라선 부족하고, 센서가 만드는 데이터 양과 저장·운송·처리 능력이 균형을 이뤄야 함을 보여준다.
• 실시간 추론용 데이터는 낮은 지연시간으로 흘려보내고, 수개월치 학습 데이터나 백업은 배치로 옮기는 편이 경제적이다. 모든 데이터를 가장 비싼 회선으로 보낼 이유도, 전부 하드디스크로 배송할 이유도 없다.

자주 묻는 질문

관련 AI 소식