2026-08-28 · Bernstein · 公司/行业基本面

伯恩斯坦全球存储：AI存储入门

摘要公开阅读；PDF 仅限有效会员阅读与下载，所有会员权限相同。邮件登录

摘要

本报告为聚焦AI存储的基础研究，从基于Transformer架构的大语言模型出发，把AI工作负载拆分为训练、推理预填充、推理解码、RAG与智能体工作流五类，并逐项拆解其内存需求。核心判断是：训练是最耗内存的任务，而推理解码阶段“内存受限”——KV缓存随token数量与并发用户数量的乘积线性增长，大规模部署中可能需要比模型权重更多的内存，成为决定AI部署规模与营收规模的关键。报告据此建立“架构”与“硬件”双层级框架：架构层级自上而下为G0处理器内部SRAM、G1 HBM、G2系统内存、G2.5 CXL、G2.6“存储下一代”、G3本地SSD、G3.5 CMX与G4共享存储；硬件层级盘点SRAM、DRAM、SCM、NAND、HDD与磁带的创新，涵盖LPU、zHBM、NVHBM、XBM、ZAM、HBC、HBF、SOCAMM2、PIM等。行业层面，DRAM占据整体内存收入的绝大部分，HBM与传统DRAM共享晶圆产能；中国因缺乏EUV正加速4F与3D DRAM研发，否则CXMT最终将在DRAM市场失去竞争力。投资建议上，三星电子（目标价440,000韩元）、SK海力士（3,300,000韩元）、美光（1,300美元）、闪迪（3,000美元）、希捷（1,350美元）、西部数据（770美元）均获跑赢评级，铠侠为唯一跑输（目标价40,000日元）。

主要观点

训练是AI中最耗内存的任务，带宽通常决定模型大小和计算速度的绝对上限，HBM在训练中起关键作用；因训练可能持续数月，需插入检查点保存中间结果快照，除HBM外系统DRAM、本地SSD与网络存储同样关键。

推理分为两阶段且需求分化：预填充“计算受限”，涉及大规模矩阵-矩阵运算使GPU高度繁忙，XPU内部HBM相对更重要，关键指标TTFT在0.5秒或更低为理想、1秒可接受；解码则“内存受限”，文本聊天TPOT可容忍至50毫秒（每秒20个令牌），实时语音、编码与代理式工作等高端用例需低于10毫秒。

KV缓存的内存需求随token数量和并发用户数量线性增长（乘积效应），使解码阶段受内存限制；大规模AI部署中KV缓存可能需要比模型权重更多的内存，成为决定最大并发用户数与上下文窗口大小的关键因素，高效处理KV缓存是决定AI模型部署规模与营收规模的关键。

RAG工作负载分两部分：数据库生成需先以大容量存储非结构化数据（理想SSD而非HDD以减少访问时间），再用大量系统DRAM生成向量数据库与索引，属部署前的一次性成本；搜索大部分时间在RAG数据库中查找最近匹配项、通常使用系统DRAM，因此系统DRAM比HBM和SSD扮演更重要角色。

智能体工作流把“提示词→模型→输出”单步流程变为自主多步骤迭代，与外部工具和环境的交互导致对CPU与常规内存（非AI服务器）的需求大得多；且一个代理的输出将成为下一代理提示的一部分，推理预填充、解码及相关KV缓存需求会迅速累积，加剧内存挑战。

报告在英伟达与Solidigm帮助下定义“架构”内存层级：G0处理器内部SRAM（由台积电等随逻辑芯片制造）、G1 HBM（CoWoS封装）、G2系统内存（DDR DRAM）、G2.5 CXL、G2.6“存储下一代”、G3本地SSD、G3.5 CMX、G4共享存储；CXL、HBF与“存储下一代”是旨在解决高性能计算“内存墙”的新兴层级。

英伟达生态两大新层级：G2.6“存储下一代”由英伟达牵头、几乎获所有内存供应商支持，目标是将内存管理从以CPU为中心转为以GPU为中心、使NAND更接近DRAM（低成本大容量+低延迟、高IOPS、小访问粒度），被定位在DDR DRAM与本地SSD之间，铠侠GP系列SSD以“超级高IOPS”成为范例；G3.5 CMX（前称ICMS）由英伟达专门针对KV缓存优化，位于数据节点、集群内多个计算节点可访问且GPU可直接访问，两端用BlueField-4 DPU、中间用Spectrum-X交换芯片经以太网通信，并以STX参考架构整合存储与ODM伙伴兼容性。

硬件层级创新（一）：SRAM每比特需6个晶体管（6T）而DRAM为1T1C；Grog的LPU当前版本LP30（英伟达获许可使用）采用片上SRAM，据报道下一代LP40将在逻辑处理器芯片上放置SRAM芯片并以混合键合连接，以可负担成本换取更大容量。三星zHBM把HBM堆叠从XPU两侧移至顶部实现“3D”，并计划用晶圆到晶圆混合键合改善互连与散热，但DRAM芯片耐热、混合键合良率与成本能否商业生产仍存疑。

硬件层级创新（二）——NVHBM：英伟达设计、台积电制造的HBM定制方案，把内存控制器从XPU移至基础芯片，可减小XPU芯片尺寸与成本、提升带宽降低功耗，并经NVLink Fusion开放（亚马逊安纳普尔纳实验室已宣布合作）；但基础芯片改由英伟达设计后，内存供应商通过基片差异化的空间被“标准化”消失，制造价值将由晶圆代工厂（很可能是台积电）捕获。

硬件层级创新（三）：英特尔XBM在BOEL后端以薄膜晶体管构建DRAM单元、被视为PIM候选；英特尔ZAM将堆叠中DRAM芯片旋转90度水平并排以加速散热，合作方SAIMEMORY为软银100%子公司，难点是DRAM芯片与基带芯片间无线传输数据，目标2029财年实用化；高通HBC以传统封装牺牲性能避开CoWoS与基板成本、采用LPDDR芯片，2027财年推第一代、2028年第二代；模块端MRDIMM与RDIMM同尺寸但集成更多接口芯片，SOCAMM2改用LPDDR、数据总线加宽至128位（对64位）、先由英伟达Vera支持再由AMD Verano支持；PIM因需更改处理器、软件、网络乃至整个系统，采用非常有限。

SCM与NAND：铠侠XL-FLASH以SLC（每单元1位）、后期MLC使NAND更像DRAM，GP系列SSD“超高IOPS”今年高达1000万IOPS、2027年将超过1000万；三星Z-NAND产品化为Z-SSD实现“超低延迟”；美光XTR SSD是pSLC例子。铠侠技术图谱显示：XL-FLASH支持英伟达“存储下一代”（G2.6）、TLC用于CMX产品（G3.5）、QLC用于容量大到与HDD竞争的产品（G4）。HBF高带宽闪存由闪迪与SK海力士领导，旨在以更低成本、更大容量匹配HBM带宽，很可能被视为G1.5级别但技术障碍很高；三星zNAND-O采用TLC并类HBM堆叠，面向设备端（边缘）AI。HDD受益于包括KV缓存溢出在内的存储需求，磁带需求也因NAND/HDD数量不足而增长。

中国与DRAM格局：DRAM技术演进仍主要由摩尔定律驱动，EUV是DRAM进步的必要条件，缺乏EUV将使中国（具体为CXMT）最终在DRAM市场失去竞争力；为此中国正研究4F DRAM（一次性收益）与3D DRAM（把多单元垂直置于一片晶圆、摊薄单元面积，承诺4F所不具备的可扩展性），但3D DRAM商业化将需要更长的时间。DRAM占据整体内存收入的绝大部分，HBM是DRAM并与传统DRAM共享晶圆产能。

论述逻辑

AI（尤其基于Transformer的LLM）大规模部署 → 不同工作负载（训练/预填充/解码/RAG/智能体）产生分化的内存需求 → 解码阶段“内存受限”、KV缓存随token数×并发用户数线性增长并可能超过模型权重 → 内存成为AI部署规模与营收规模的关键瓶颈（“内存墙”） → 供应链沿两条路线创新：架构上在G1 HBM与G4共享存储之间插入CXL、“存储下一代”、CMX等新层级，硬件上以SRAM堆叠（LPU）、zHBM、NVHBM、XBM、ZAM、HBC、HBF、SOCAMM2等封装与模块创新以及SCM类介质补充或替代HBM → 以该双层级框架评估各存储技术卡位与供应商竞争力（含中国CXMT的4F/3D DRAM路径） → 最终落到覆盖标的的评级与目标价：跑赢三星电子、SK海力士、美光、闪迪、希捷、西部数据；跑输铠侠。