HBF와 zNAND-O 정리: HBM 다음 AI 메모리를 두고 갈린 SK하이닉스·삼성전자의 두 전략

핵심 메시지

• SK하이닉스와 샌디스크가 공개한 HBF는 디램 대신 낸드를 쌓아 스택 하나에 최대 512GB를 담는다. 48GB짜리 HBM4 스택 10개를 합친 것보다 큰 용량이다.
• HBF의 목적은 SSD보다 조금 빠른 저장장치가 되는 것이 아니라, 모델 가중치를 담으려고 늘려야 했던 GPU 수와 시스템 비용을 줄이는 데 있다.
• 낸드가 디램만큼 빨라진 것은 아니다. 첫 데이터가 도착하는 속도는 여전히 HBM이 훨씬 빠르고, HBF는 여러 다이에 요청을 나눠 보내는 병렬성으로 느린 응답을 가린다.
• 삼성은 다른 길을 택했다. 10세대 V낸드를 NPU와 한 패키지에 묶은 zNAND-O로, 어떤 모델을 돌릴지 미리 아는 기기에 맞춰 최적화하는 통합형 구조다.
• 낸드를 쓴다고 무조건 싸지지는 않는다. SLC 방식의 용량 손실, 첨단 패키징 비용, 교체가 어려운 구조에서의 수명 문제가 함께 따라온다.

쉽게 이해하기

GPU 주변에 붙어 있는 네모난 메모리 덩어리는 얇은 디램 다이를 여러 장 쌓아 수직으로 연결한 HBM 스택이다. SK하이닉스가 공개한 16단 HBM4는 스택 하나에 48GB를 담는다. 그런데 SK하이닉스와 샌디스크가 FMS 행사에서 공개한 새 메모리는 한 스택에 최대 512GB를 제시했다. 놀라운 점은 이 메모리가 디램이 아니라 SSD와 스마트폰 저장 공간에 쓰이던 낸드 플래시라는 것이며, 두 회사는 이를 HBF(High Bandwidth Flash)라고 부른다.

왜 수백 GB의 용량이 중요할까. 프런티어 모델을 실행하려면 학습으로 만들어진 가중치를 메모리에 올려야 하는데, 모델이 커질수록 가중치가 차지하는 공간도 함께 늘어난다. 결국 모델을 여러 GPU의 HBM에 나눠 올리게 되는데, 이때 GPU를 더 붙이는 이유가 항상 계산량 때문인 것은 아니다. 가중치를 담을 공간이 모자라 비싼 GPU를 추가하는 구간이 존재하고, GPU가 늘면 그 사이를 잇는 네트워크와 전력·냉각 비용까지 따라온다. HBF가 가중치의 상당 부분을 가속기 가까이에서 받아준다면 그 구간의 GPU를 줄이거나, 같은 GPU 묶음으로 더 많은 요청과 더 긴 문맥을 처리할 여지가 생긴다.

용량은 매력적이지만 속도는 다른 문제다. HBM 뒤에는 반응이 빠른 디램이 있어 짧은 시간 안에 필요한 위치를 찾아 보내고 읽기와 쓰기가 자주 바뀌어도 유연하게 대응한다. 반면 HBF 뒤에 있는 낸드는 데이터를 읽기 시작하기까지 시간이 더 걸리고, 작은 값 하나보다 페이지라는 큰 단위로 데이터를 꺼낸다. 그래서 HBF는 여러 다이와 내부 영역에 읽기 요청을 미리 나눠 보내고 큰 데이터 묶음을 동시에 받아 전체 처리량을 높이는 쪽을 택했다. 가중치처럼 읽는 순서가 비교적 규칙적인 데이터가 이 방식에 잘 맞는 이유다.

삼성은 질문 자체를 바꿨다. 여러 종류의 가속기와 모델을 모두 받아야 하는가, 아니면 어떤 NPU와 모델을 쓸지 미리 안다면 낸드까지 함께 설계할 수 있지 않은가. 그렇게 나온 zNAND-O는 400단을 넘는 10세대 V낸드를 한 셀에 1비트만 저장하는 SLC 방식으로 쓰고, 코어 다이를 쌓아 TSV로 연결한 뒤 아래에 제어용 베이스 다이를 놓는다. 이를 NPU와 한 패키지에 배치해 UCIe로 연결하며, 목표 대역폭은 4단 적층에서 초당 200GB, 8단에서 초당 400GB다. 범용성은 줄지만 스마트폰·홈허브·자동차·로봇처럼 정해진 모델을 반복 실행하는 기기에서 강하게 최적화할 수 있다.

두 구조 모두 아래쪽 로직, 즉 베이스 다이가 핵심이다. HBM의 베이스 다이가 성능을 끌어올리는 칩이라면, 고대역폭 플래시의 베이스 다이는 읽기 요청을 여러 다이로 분배하고 다음에 필요할 데이터를 미리 준비하며 오류와 불량 영역까지 관리해 낸드의 약점을 감추고 메모리처럼 보이게 만드는 칩에 가깝다. 남은 과제도 분명하다. SLC는 같은 셀 수에서 QLC 대비 용량이 크게 줄고, 400단급 낸드와 TSV, UCIe, 첨단 패키징 비용이 더해진다. 게다가 낸드가 뜨거운 연산 칩 곁에 고정되면 상태가 나빠져도 뽑아서 교체할 수 없어, 데이터 보존 특성과 일부 다이 열화 이후의 서비스 유지 능력까지 검증 대상이 된다.

주요 인사이트

• 고객이 따질 기준은 제품 하나의 가격이 아니라 시스템 전체 비용이다. HBF는 'SSD보다 얼마나 비싼가'가 아니라 '가중치를 담으려 추가하던 GPU와 HBM을 얼마나 줄여주는가'로 평가받는다.
• 사양표의 초당 3TB보다 중요한 것은 실제 모델이 그중 얼마를 꾸준히 써먹느냐다. 토큰마다 다른 전문가 가중치를 고르는 MoE 모델이나 여러 사용자의 요청이 뒤섞인 환경에서는 필요한 데이터가 낸드 곳곳으로 흩어져 유효 대역폭이 크게 떨어진다.
• 용량만 보면 KV 캐시야말로 HBF가 필요한 영역이다. 다만 낸드는 기존 데이터 위에 바로 덮어쓰지 못해 공간 정리를 위한 이동과 삭제가 반복되므로, 거의 바뀌지 않는 가중치에서 먼저 경제성을 증명하는 흐름이 자연스럽다.
• 구글과 텐스토렌트가 HBF 표준 개발에 참여했다는 사실은, 이 규격이 특정 GPU 하나만 바라보는 메모리가 아니라 여러 전용 가속기를 겨냥한 생태계 표준으로 움직이고 있다는 신호다.
• 속도를 얻으려고 낸드를 연산기 가까이 가져오는 순간 낸드의 수명이 고가의 연산 칩과 한 몸이 된다. 예비 영역으로의 데이터 이동이나 외부 저장장치에서의 가중치 재적재 같은 운영 대책이 함께 필요하다.

자주 묻는 질문

관련 AI 소식