NAS로 머신러닝 환경 구축하기: 실험 추적·모델 캐싱·대용량 데이터 로딩 실전 정리

핵심 메시지

• 학습용 서버의 로컬 저장 공간은 금세 바닥나기 때문에, 체크포인트와 데이터셋을 네트워크 저장장치로 옮기면 실험을 중단 없이 이어갈 수 있다.
• 실험 추적 도구를 도커로 자체 호스팅하면 관리형 서비스의 무료 저장 용량 제한에 묶이지 않고 대용량 체크포인트를 남길 수 있다.
• 모델 가중치와 파이썬 패키지를 캐싱하는 프록시를 두면, 같은 파일을 여러 기기에서 다시 받을 때 인터넷 회선이 아니라 내부 네트워크 속도로 내려받는다.
• 네트워크 저장장치는 작은 파일을 무작위로 읽고 쓸 때 특히 느리므로, 데이터셋을 tar 묶음으로 만들어 순차적으로 스트리밍하는 방식이 유리하다.
• 데이터 로딩이 느려 보여도 여러 워커의 선반입과 GPU 연산 시간이 지연을 가려주기 때문에, 실제 학습 속도는 로컬 저장과 큰 차이가 없을 수 있다.

쉽게 이해하기

영상 진행자의 머신러닝 서버에는 저장 공간이 2테라바이트뿐이고, 별도로 운영하는 네트워크 저장장치(NAS)에는 16테라바이트가 있다. 체크포인트를 남기고 데이터셋을 불러오고 오픈소스 모델 가중치를 받아두는 작업을 모두 NAS로 옮긴 이유다. 그는 도커를 돌릴 수 있는 기기와 충분한 저장 공간만 있으면 같은 구성을 따라 할 수 있다고 설명하며, 저사양 소형 보드에 프록스목스와 ZFS 풀, 컨테이너를 얹은 실습 환경을 보여준다.

첫 번째 사례는 실험 추적 도구의 자체 호스팅이다. 학습 과정의 손실 곡선과 하이퍼파라미터, 생성 이미지를 한곳에서 비교할 수 있게 해주는 도구인데, 관리형 서비스의 무료 등급은 저장 용량이 5기가바이트로 제한된다. 체크포인트 파일 하나가 수 기가바이트에 이르는 상황에서는 금방 한계에 부딪히고, 서버 로컬 디스크에 쌓다 보면 학습이 도중에 멈춰버린다. 도커 컴포즈로 NAS 위에 인스턴스를 띄우면 이 문제가 사라진다.

학습 스크립트에 추적을 붙이는 작업 자체는 간단하다. 초기화 함수를 호출하면서 하이퍼파라미터를 함께 넘기고, 기록하고 싶은 값을 딕셔너리로 만들어 로그 함수에 전달하면 된다. 체크포인트는 임시 파일로 저장한 뒤 아티팩트로 업로드하는데, 업로드가 끝나면 로컬 복사본이 자동으로 지워져 작업 머신의 공간을 아낄 수 있다. 다중 GPU 학습을 돕는 라이브러리도 이 추적 도구를 기본 지원해 GPU 사용률 같은 지표가 함께 기록된다.

두 번째 사례는 캐싱 프록시다. 모델 저장소와 파이썬 패키지 저장소 앞에 캐시를 두면, 한 번 받은 파일은 NAS에 남아 다른 기기에서 다시 받을 때 내부 네트워크 속도로 전송된다. 진행자는 200억 파라미터급 오픈 모델을 처음 받을 때 300메가비트 회선에서 20분 넘게 걸렸지만, 두 번째 기기에서는 10기가비트 내부망을 가득 채우며 훨씬 빠르게 끝났다고 말한다. 파이썬 의존성 설치도 처음에는 몇 분이 걸렸지만 두 번째에는 15초 남짓으로 줄었다.

세 번째는 데이터 로딩 방식이다. 네트워크 저장장치는 작은 파일을 무작위로 접근할 때 특히 느리기 때문에, 이미지 폴더를 그대로 NAS에 올려두고 학습 작업이 참조하게 하는 건 좋지 않은 선택이다. 대신 데이터를 tar 묶음으로 만들어 순차적으로 흘려보내는 라이브러리를 쓰면 파일 시스템이 이를 하나의 큰 연속 파일로 다루므로 훨씬 유리하다. 실제로 배치 100개를 순회하는 시간은 로컬보다 느렸지만, 학습을 돌렸을 때 초당 반복 횟수는 양쪽이 거의 같았다.

주요 인사이트

• 저장 공간 부족은 단순한 불편이 아니라 학습을 중단시키는 장애 요인이므로, 체크포인트 저장 위치를 미리 분리해두는 것이 안전하다.
• 관리형 SaaS의 무료 등급 제한이 걸림돌이 될 때, 같은 도구를 도커로 자체 호스팅하는 선택지가 실제로 유효한 경우가 있다.
• 여러 대의 작업 기기를 쓴다면 같은 모델 가중치를 반복해서 내려받는 낭비가 생기며, 캐싱 프록시 한 대가 이 중복을 없앤다.
• 네트워크 저장장치의 약점은 대역폭이 아니라 작은 파일에 대한 무작위 접근 지연이므로, 데이터를 묶어 순차 스트리밍하도록 바꾸는 것이 핵심이다.
• 데이터 로딩 벤치마크가 느리게 나와도 선반입과 GPU 연산이 지연을 가려 실제 학습 처리량은 손해가 없을 수 있으며, 컨테이너를 연결할 때는 속도가 중요한 데이터베이스는 로컬에 두고 대용량 객체 저장만 NAS로 보내는 분리가 필요하다.

자주 묻는 질문

관련 AI 소식