엔비디아 DGX Spark 첫인상 — 손안의 AI 슈퍼컴퓨터로 로컬 LLM 돌리기

핵심 메시지

• DGX 스파크는 손바닥에 올라가는 크기의 소형 AI 슈퍼컴퓨터다.
• 엔비디아 그레이스 블랙웰 구조로 CPU와 GPU가 하나로 합쳐진 통합 칩을 쓴다.
• Ollama로 구글의 오픈 모델 젬마(Gemma)를 로컬에서 내려받아 추론할 수 있다.
• 클로드 코드를 로컬 젬마 모델과 연결하면 API 구독료 없이 코드를 생성할 수 있다.

쉽게 이해하기

영상은 손바닥에 올라갈 만큼 작은 기기를 'AI 슈퍼컴퓨터'라고 소개하며 시작한다. 엔비디아 DGX 스파크는 전원 케이블을 꽂고 버튼을 눌러도 소리가 거의 나지 않을 만큼 조용하게 부팅된다. USB-C 도킹 스테이션으로 모니터·키보드·마우스를 연결하면, 우분투 기반 운영체제와 파이어폭스 브라우저가 깔린 환경이 나타난다.

사양은 작은 크기에 비해 상당하다. 엔비디아 그레이스 블랙웰 아키텍처를 쓰며, CPU와 GPU가 하나의 칩에 합쳐진 통합 구조다. 20개의 ARM 코어, 4비트 부동소수점 기준 1페타플롭(10의 15제곱 연산)의 텐서 성능, 초당 273GB의 대역폭, 128GB 메모리, 4TB 저장공간, 6,144개의 CUDA 코어를 갖췄다. 발표자는 이 GPU가 딥러닝에 필요한 대규모 행렬 곱을 병렬로 처리한다고 설명한다.

핵심 활용은 '로컬 추론'이다. Ollama를 설치한 뒤 구글의 오픈소스 모델 젬마(Gemma)를 내려받아 기기 안에서 직접 구동한다. 질문을 던지면 챗GPT를 쓰듯 답이 나오고, 코드 생성을 시키면 GPU 사용률이 올라갔다가 답이 완성되면 다시 내려간다. 모든 연산이 클라우드가 아닌 이 작은 기기 안에서 이뤄진다.

한 걸음 더 나아가 클로드 코드(Claude Code)를 로컬 젬마 모델과 연결한다. 빈 폴더에서 명령을 실행해 간단한 요가 용품 정적 웹사이트를 만들게 하자, 로컬 모델이 index.html을 생성해 카탈로그·소개·연락처 섹션이 있는 페이지를 완성한다. 발표자는 이렇게 하면 클라우드 API 요금 없이 전기 요금만으로 코드를 무제한 생성할 수 있다고 강조한다. 이 기기는 최대 2,000억 파라미터급 모델까지 구동할 수 있다.

주요 인사이트

• 클라우드 API 비용 대신 로컬에서 모델을 돌리면, 비용 구조가 '사용량 과금'에서 '전기 요금'으로 바뀐다.
• CPU와 GPU를 하나로 합친 통합 칩과 128GB 메모리 덕분에 작은 기기로도 큰 모델을 다룰 수 있다.
• Ollama와 클로드 코드를 결합하면 데이터를 외부로 보내지 않고도 로컬에서 코딩 에이전트를 운용할 수 있다.
• 정확도 높은 큰 파라미터 모델을 쓸수록, 로컬 코드 생성의 가치는 더 커진다.

자주 묻는 질문

관련 AI 소식