伯恩斯坦 全球存储芯片：人工智能存储芯片入门

摘要

这是一篇面向投资者的 AI 存储技术入门报告（primer），目的是把层出不穷的存储创新（HBF、Z-NAND、CXL、CMX、ZAM、HBC 等）纳入统一框架，评估其相对定位、潜力与投资含义。 报告先按负载拆解：训练是对所有存储层级约束最严苛的任务；推理中 prefill 属“算力受限”、decode 属“存储受限”，KV 缓存随 token 数与并发用户数快速复合膨胀，以可负担成本扩展 HBM 容量、向常规 DRAM/NAND 卸载或在层级间新增存储层成为创新焦点。 据此提出两大层级框架：架构层级从处理器内存储、HBM（G1）、系统内存、CXL 与 Storage Next、本地 AI SSD、CMX（G3.5）到共享存储（G4），硬件层级则覆盖 SRAM、DRAM、SCM、NAND、HDD 与磁带。 硬件侧亮点包括：HBF 借 NAND 的高容量与低单位成本将单 GPU 总容量从 192GB 提升至 3,120GB；三星 ZHBM 把 HBM 堆叠移到 XPU 顶部并计划采用晶圆对晶圆混合键合；NVIDIA 的 NVHBM 采用其自研、台积电代工的基础裸片，削弱存储厂价值；Intel 推出 XBM 与 ZAM（DRAM 裸片旋转 90 度），高通 HBC 走 LPDDR 加常规封装路线。 报告还指出中国正加速 4F2 与 3D DRAM 研发，PIM 因与现有体系差异大而采用有限，KV 缓存溢出与数据存储需求爆发正带动 HDD 乃至磁带需求增长。 本篇为技术入门性质，文中未给出个股评级或目标价。

主要观点

• 不同 AI 负载需要不同存储：训练是对所有层级约束最严苛的任务；推理可拆为 prefill 与 decode，prefill 属“算力受限”、decode 属“存储受限”，且 KV 缓存规模随 token 数与并发用户数复合增长。

• 创新的关键焦点：以可负担的成本扩展 HBM 容量、把数据卸载到常规 DRAM 与 NAND、或在它们之间创造新的存储层级；构建 RAG 数据库需要大容量 SSD/HDD 与 DRAM。

• 报告定义“架构层级”框架：从处理器内存储（通常 SRAM）到系统内存、本地 SSD、共享存储（SSD/HDD/磁带），HBM 作为 G1 插在处理器内存储之下，CXL 与 Storage Next 尝试插入系统内存与本地 SSD 之间，CMX 则加在本地 SSD 与共享存储之间；NVIDIA 将 HBM 定为 G1、CMX 定为 G3.5。

• CMX 落地形态：CMX 内存位于数据节点，经以太网与计算节点通信，两端配 BlueField-4 DPU、中间为 Spectrum-X 交换芯片；GPU 可不经 CPU 直接访问 CMX，NVIDIA 另推 STX 参考架构整合方案并保障兼容性。

• HBF 用 NAND 补充 HBM：借 NAND 显著更高的容量与更低单位成本提升送入 XPU 的总带宽；Sandisk 图解显示单 GPU 总容量从 HBM 方案的 192GB 提升到 HBF 方案的 3,120GB；Rubin GPU 封装内含 8 个 HBM 堆叠。

• ZHBM（三星）：把 HBM 堆叠从 XPU 侧边移到顶部，封装从 2.5D 走向 3D，并计划用晶圆对晶圆混合键合改善互连与散热；但报告质疑底部 XPU 热量对 DRAM 裸片的影响，以及混合键合良率与成本能否满足量产。

• NVHBM（NVIDIA）：本质是由 NVIDIA 设计基础裸片、台积电制造的定制 HBM，可缩小 XPU 裸片并提升带宽、降低功耗；但相比标准 HBM 削弱了存储厂商的价值（差异化空间被标准化掉），NVIDIA 通过标准化与扩展 NVLink Fusion 保持开放，亚马逊 Annapurna Labs 已宣布参与。

• Intel 的 XBM 与 ZAM：XBM（cross-batch memory）用后道（BOEL）薄膜晶体管构建 DRAM 单元，可能与逻辑电路共存于同一硅片，也被视为 PIM 候选；ZAM（Z-angle memory）把堆叠 DRAM 裸片旋转 90 度横放以加速散热，合作方 SAIMEMORY 为软银 100% 子公司。

• 高通 HBC：目标与 HBF 相同（补充/提升 XPU 带宽）但改用 LPDDR，并采用常规封装而非 CoWoS，牺牲部分性能但省去中介层与 2.5D 有机基板成本。

• DRAM 模块与制程创新并行：MRDIMM、SOCAMM2、LPCAMM2 面向高性能需求革新 DRAM 模块；中国正加速 4F2 与 3D DRAM 研发（4F2 架构将 DRAM 单元面积自 6F2 缩小），而报告认为 3D DRAM 商业化还需更多年。

• SCM 与 PIM：业界长期尝试在 DRAM 与 NAND 之间造 SCM，如基于“增强型”NAND 的 Z-NAND 与 XL-FLASH，以及机制迥异的 MRAM、PCM（含 XPoint）、RRAM；PIM 将逻辑与存储融合在同一硅片，但因与现有计算体系及供应链差异过大，采用一直非常有限；zNAND-O则以 TSV 堆叠 NAND 面向端侧 AI。

• Agentic 工作流与冷数据外溢：代理工作流与外部工具/环境的交互显著增加传统（非 AI）服务器的 CPU 与常规内存需求，且一个 agent 的输出成为下一个 agent 的 prompt，prefill/decode 与 KV 缓存需求快速叠加；HDD 受益于 KV 缓存溢出等数据存储需求，磁带需求也在增长，因为 NAND 与 HDD 不足以满足当前需求。

论述逻辑

• 起点：AI（尤其基于 transformer 架构的 LLM）对存储提出重大挑战，产业链以前所未有的速度推出新概念与缩写，投资者难以理解、更难纳入统一框架评估定位与投资含义——报告目的就是建立这一总体框架。

• 第一步拆负载定痛点：训练最严苛、prefill 算力受限、decode 存储受限，KV 缓存随 token 数与并发用户数复合膨胀，由此推出“以可负担成本扩容 HBM、向 DRAM/NAND 卸载、新增存储层级”是创新主线。

• 第二步建双框架：把所有创新归纳为“架构层级”（G0 处理器内存储→HBM→系统内存→CXL/Storage Next→本地 AI SSD→CMX→共享存储）与“硬件层级”（SRAM/DRAM/SCM/NAND/HDD/磁带）两条主线，再逐一映射各项技术的位置。

• 第三步评估创新与供应商格局影响：HBF/HBC 用 NAND/LPDDR 补充 HBM；ZHBM 改封装、NVHBM 改基础裸片归属（存储厂价值被削弱、制造价值流向代工厂）；XBM/ZAM 探索新形态；CXL/Storage Next/CMX 插入新架构层级。

• 收尾延伸到产业结论：需求外溢使 HDD 与磁带受益（NAND/HDD 供给不足）、中国加速 4F2 与 3D DRAM、PIM 因生态差异采用有限、zNAND-O 面向端侧 AI，为投资者提供跟踪验证的框架而非个股结论。

关键展望

• 3D DRAM 的商业化仍需更多年，是中长期才可能落地的技术方向。

• ZHBM 量产可行性待验证：DRAM 裸片能否承受底部 XPU 散热并保持规格内运行，以及晶圆对晶圆混合键合的良率与成本是否具备商业化条件，是两大悬念。

• PIM 的采用预计持续有限：它与现有计算机体系及供应链差异过大，除非体系改变否则难以放量。

• 在 NAND 与 HDD 供给不足的背景下，磁带乃至 HDD 的需求仍在增长，冷数据与 KV 缓存溢出是最底层数据的归宿。

• 报告为技术入门性质，未在正文中给出个股评级、目标价或明确的验证时间窗口。

推荐标的

• 报告未明确给出推荐标的：正文中没有个股评级、目标价或买卖建议，本篇为存储技术入门报告。

• 报告中作为技术推动者被点名的主要公司（非评级推荐）：NVIDIA（NVHBM、CMX、Storage Next、STX、NVLink Fusion）、Samsung（ZHBM、Z-SSD）、SK hynix、Micron、KIOXIA、Sandisk（HBF）、Qualcomm（HBC）、Intel（XBM、ZAM）、Dell（CMX 数据节点）、软银旗下 SAIMEMORY、亚马逊 Annapurna Labs。

• 披露附录显示：SG 及关联方持有 Micron Technology 0.5% 以上股份、持有 KIOXIA Holdings 1% 以上股份，并在过去 12 个月收取 Samsung Electronics、SK Hynix、KIOXIA、Western Digital 的非投行类证券相关服务报酬。