HBF란 무엇인가: HBM 다음 메모리 후보와 낸드의 한계 정리

핵심 메시지

• HBF(하이 밴드위스 플래시)는 낸드를 쌓아 HBM과 SSD 사이의 빈 계층을 메우려는 새로운 메모리다.
• 샌디스크 1세대 목표는 낸드 16단 적층으로 512GB 용량과 초당 1.6TB 읽기 대역폭이다.
• 낸드는 비휘발성이라 리프레시가 필요 없어 전력이 곧 비용인 추론 시대에 강점이 있다.
• 그러나 낸드는 수명·데이터 보존·열에 취약해 쓰기가 잦은 KV캐시보다 읽기 중심 가중치에 적합하다.
• 샌디스크 특허에서도 HBM은 사라지지 않으며, 업계의 현실적 그림은 대체가 아니라 공존이다.

쉽게 이해하기

AI 반도체에서 메모리 하면 거의 모든 관심이 HBM에 쏠려 있었는데, 최근 ‘HBM 다음은 HBF’라는 이야기가 등장했다. HBF(하이 밴드위스 플래시)는 SSD에 쓰이던 낸드 플래시를 HBM처럼 쌓아, 비싸고 용량이 제한적인 HBM과 느린 SSD 사이의 빈 계층을 메우려는 시도다. 샌디스크와 SK하이닉스가 JEDEC이 아닌 OCP에서 표준화에 나섰고, 삼성전자는 아직 구체적 로드맵을 공개하지 않았다.

샌디스크 1세대 목표는 낸드 다이 16개를 한 스택으로 쌓아 512GB 용량과 초당 1.6TB 읽기 대역폭을 구현하는 것이다. 2세대 2TB/s, 3세대 3.2TB/s로 키우는 로드맵도 내놨고, 2026년 하반기 첫 샘플, 2027년 초 HBF 탑재 초기 추론 시스템을 목표로 한다. M램·R램 대신 낸드를 고른 건 밀도·확장성·비용에서 이미 검증됐기 때문이다.

낸드의 비휘발성은 큰 강점이다. 디램 기반 HBM은 데이터를 유지하려 끊임없이 전기를 넣는 리프레시가 필요하지만 낸드는 그럴 필요가 없다. 초당 테라바이트 대역폭은 낸드 하나를 빠르게 만드는 게 아니라, 채널·다이·플레인을 극단적으로 병렬화해 동시에 움직이는 낸드 수를 늘려서 얻는다.

문제는 낸드의 약점이다. 셀에 더 많은 비트를 담을수록(TLC·QLC) 구분해야 할 상태가 촘촘해져 값이 흔들리기 쉽고, 시간과 열에 따라 전자가 새어 데이터 보존(리텐션)이 나빠진다. 쓰고 지우는 PE 동작은 셀을 갉아먹어 내구성(인듀어런스)을 떨어뜨린다. 그래서 컨트롤러가 웨어 레벨링과 ECC(LDPC)로 끊임없이 보정해야 한다.

결국 HBF는 잘 바뀌지 않는 읽기 중심의 모델 가중치에 먼저 맞고, 쓰기가 잦은 KV캐시는 HBM이나 별도 고성능 계층에 두는 게 현실적이다. 여기에 AI 서버의 높은 발열까지 더해지면 수명·보존 특성 관리가 더 어려워진다. 엔비디아는 KV캐시 전용 계층(CMX)을 따로 두는 방식을 택해, 낸드를 GPU에 가까이 붙이는 HBF와는 또 다른 답을 제시했다.

주요 인사이트

• HBF 표준화가 JEDEC이 아닌 OCP에서 진행되는 건, 빠르게 바뀌는 AI 시장에 맞춰 사양을 실시간으로 고치기 위해서라는 게 업계 설명이다.
• HBF와 엔비디아 CMX는 경쟁처럼 보이지만 노리는 데이터가 다르다 — HBF는 읽기 중심 가중치, CMX는 쓰기 중심 KV캐시로 공존할 수 있다.
• 샌디스크가 프로세서를 낸드 위에 직접 붙이는 특허를 냈지만, 이는 제품이 아닌 특허이며 그 안에서도 HBM은 사라지지 않는다.
• SK하이닉스 시뮬레이션에서 HBM 8개와 HBF 8개를 함께 붙인 하이브리드 구조가 HBM만 쓸 때보다 와트당 성능이 최대 2.69배 좋아졌다.
• HBF는 패키징 기술 하나가 아니라 셀 구조·병렬 인터페이스·컨트롤러·오류 정정·열 설계·소프트웨어가 함께 맞물려야 하는 시스템 기술이다.

자주 묻는 질문

관련 AI 소식