伯恩斯坦：—全球存储器——AI存储器入门报告

关键图表

图1. LLM生成新token需考虑所有先前的token，为避免重复计算，LLM现在通常将所有先前的token存储在KV缓存中

图2. 与HBM中堆叠DRAM裸片类似，NAND裸片堆叠在HBF中；HBF堆叠与HBM堆叠混合，并以CoWoS等效封装技术与XPU封装在一起

图3. 三星符合CXL规范的SSD；CXL主要面向DRAM，但只要经增强（如利用DRAM作缓存）成为'类DRAM'，即可支持基于NAND的SSD

图4. 如Dell下图所示，CMX内存位于数据节点，借助两端的BlueField-4 DPU及Spectrum-X交换芯片，通过以太网与计算节点通信

图5. DRAM单元阵列俯视图，展示从6F2到4F2的转变；通过将外围电路移至同一晶圆电容下方甚至另一晶圆，4F2架构将DRAM单元面积从6F2缩小

图6. 英特尔ZAM将堆叠中的DRAM裸片旋转90度以改善散热

图7. 面向端侧AI，三星zNAND-O将NAND裸片堆叠在一起，并将该堆叠封装在处理器附近