SK하이닉스 HBF 전략 해설: HBM 수요를 스스로 줄일 수 있는 낸드 메모리 계층을 미는 이유

핵심 메시지

• AI 칩을 가장 많이 파는 엔비디아는 HBM을 아껴 쓰는 CMX를 내놨고, HBM을 파는 SK하이닉스는 HBM 수요를 일부 잠식할 수 있는 HBF를 밀고 있다.
• AI 에이전트가 길고 오래 일할수록 모델 웨이트와 KV 캐시가 쌓이면서, 기기 판매량으로 메모리 수요를 가늠하던 방식이 더는 통하지 않는다.
• 핵심 지표는 HBM 용량 자체가 아니라 토큰 하나를 만드는 비용이다. 비싼 HBM에는 꼭 있어야 할 데이터만 남기려는 흐름이 CMX와 HBF의 공통 배경이다.
• HBF는 낸드를 여러 단으로 쌓아 프로세서 가까이 붙이는 방식이라 지연시간과 내구성 특성이 DRAM과 달라, 자주 바뀌지 않는 큰 데이터가 우선 후보가 된다.
• 서버 한 대의 HBM이 줄더라도 AI 서비스 비용이 내려가 사용량이 커지면 전체 메모리 수요는 오히려 늘 수 있다는 것이 SK하이닉스 쪽 논리다.

쉽게 이해하기

지난 6월 대만 컴퓨텍스의 SK하이닉스 부스에 젠슨 황이 예고 없이 들어와, 그날 처음 공개된 HBM4 웨이퍼에 'Please make more'라고 적고 서명을 남겼다는 일화로 영상은 시작한다. AI 칩을 가장 많이 파는 회사가 메모리 공급사에 찾아와 남긴 말이 '더 만들어 달라'였다는 것이다. SK는 2034년까지 메모리 생산 능력을 지금의 세 배로 키우는 증설 계획을 세워두고 있다.

그런데 같은 엔비디아가 올해 CMX(컨텍스트 메모리 스토리지)를 내놨다. GPU 옆의 비싼 HBM에 모든 데이터를 쌓아두는 대신 일부를 낸드 플래시에 내려뒀다가 필요할 때 다시 가져오는 장치다. 더 놀라운 쪽은 공급사다. SK하이닉스도 낸드를 쌓아 프로세서 가까이 붙이는 HBF를 적극적으로 추진하고 있는데, 이는 서버 한 대에 필요한 HBM 용량을 스스로 줄일 수 있는 기술이다.

영상은 그 배경을 최태원 회장의 CNBC 인터뷰에서 찾는다. 회장은 지금의 AI를 네 살짜리 아이에 비유하며 앞으로 기억해야 할 것이 계속 늘어난다고 말하고, 향후 5년간 AI 에이전트 사용량이 77배, 10년 뒤 메모리 수요가 현재 생산 능력의 다섯 배까지 늘 수 있다는 전망을 제시한다. 다만 영상은 이 숫자를 HBM 수요에 그대로 곱할 수는 없고, 대규모 증설을 설명하는 자리에서 나온 전망이라는 점도 감안해야 한다고 덧붙인다.

메모리를 늘리는 일 자체도 빠르지 않다. HBM은 DRAM을 수직으로 쌓아 TSV로 연결하고 패키징과 고객 검증까지 거쳐야 해서 같은 용량의 일반 DRAM보다 웨이퍼를 더 많이 쓴다. 웨이퍼를 HBM에 몰아주면 PC·스마트폰·일반 서버용 DRAM 몫이 줄어들고, 이것이 인터뷰에서 언급된 '칩플레이션' 우려와 이어진다. 고객이 요구하는 물량은 내년에 올해의 거의 두 배인데 생산 능력을 의미 있게 늘리는 데는 4~5년이 걸린다는 설명도 나온다.

그래서 나오는 해법이 데이터를 성격별로 나눠 담는 계층화다. 자주 빠르게 읽고 써야 하는 데이터는 HBM이 맡고, 크기는 크지만 자주 바뀌지 않는 모델 웨이트나 오래된 KV 캐시는 HBF가 맡는 식이다. 영상은 애플이 아이팟을 지키는 대신 아이폰에 음악 플레이어를 넣어 더 큰 시장으로 옮겨간 사례를 들어, SK하이닉스의 선택도 HBM 한 층만 지키기보다 다음 메모리 구조까지 직접 가져가려는 전략으로 해석한다.

물론 확인해야 할 것이 남아 있다. CMX는 베라루빈 플랫폼에 실제 제품으로 들어가지만 하이퍼스케일러가 이 계층을 얼마나 적극적으로 채택할지는 별개이고, HBF는 이제 막 표준이 만들어진 단계라 낸드로 AI 서버가 요구하는 신뢰성과 내구성을 유지할 수 있는지 검증이 필요하다. 삼성전자와 마이크론도 같은 수요를 보고 증설하고 있어, 몇 년 뒤 공급이 한꺼번에 몰릴 가능성도 함께 봐야 한다.

주요 인사이트

• 메모리 시장을 HBM 생산량만으로 읽으면 그림을 놓친다. 비싼 HBM에 끝까지 남아야 할 데이터가 얼마나 되는지, 그 중 얼마를 낸드 기반 계층으로 내려보낼 수 있는지가 서버 한 대의 HBM 용량을 결정한다.
• CMX와 HBF는 HBM이 필요 없어서 나온 것이 아니라, HBM이 너무 귀하고 비싸서 나온 기술이다. 목적은 대체가 아니라 선별이다.
• AI 에이전트는 스마트폰과 달리 한 사람이 몇 개를 얼마나 오래 돌릴지 예측하기 어렵다. 기기 판매량 기반의 전통적 메모리 수요 예측이 흔들리는 지점이다.
• 커스텀 HBM과 장기 공급계약(LTA)은 증설 리스크를 낮추는 장치다. HBM4부터 베이스 다이를 TSMC 로직 공정으로 만들면서 고객별 설계 여지가 넓어졌고, 고객이 공급사를 바꾸기도 어려워졌다.
• 회장이 메모리 사이클이 사라졌다고 말하지 않는다는 점이 중요하다. AI 때문에 이번 수요가 과거보다 길게 이어질 가능성을 볼 뿐, 공급 과잉 가능성 자체를 부정하지는 않는다.

자주 묻는 질문

관련 AI 소식