野村:全球内存:KVTC 和 Turbo/Quanta 对内存构成风险吗?
摘要公开阅读;PDF 仅限有效会员阅读与下载,所有会员权限相同。 邮件登录
摘要
野村认为,Nvidia的KVTC和Google的Turbo/Quanta等新技术旨在提升内存效率,但市场担忧这些技术可能抑制内存需求。报告指出,这些解决方案降低有效成本并提高系统吞吐量,最终推动更广泛的AI部署。历史效率提升案例表明,资源利用率提高往往扩大总工作量,因此内存需求将随AI采用继续增长。野村认为,在当前AI早期阶段,Jevons悖论仍然有效。核心问题在于结构性失衡:KV缓存需求呈指数增长,而内存供应仅线性增长(每年30-60%)。视频数据所需token大小约为文本的330万倍,AI agent的KV缓存和token需求约为文本的1000倍。内存优化已从可选变为系统可行性的必要条件,行业正聚焦压缩(10-20倍)、量化(4-8倍)和访问优化三种方法。效率提升将推动总需求增长,而非抑制内存需求。竞争格局日益由内存效率定义,而非仅硬件容量。
主要观点
- 野村认为内存正成为AI基础设施扩展的关键受益者,尤其受KV缓存需求指数增长驱动。
- Nvidia的KVTC和Google的Turbo/Quanta旨在提升内存效率,市场担忧其可能损害内存市场,类似DeepSeek案例。
- 这些解决方案降低有效成本并提高系统吞吐量,最终推动更广泛的AI部署。
- 历史效率提升案例表明,资源利用率提高往往扩大总工作量,Jevons悖论在当前AI早期阶段仍然有效。
- 核心结构性失衡:KV缓存需求指数增长,而内存供应仅线性增长(每年30-60%)。
- 驱动因素包括:多轮交互延长用户会话、上下文长度从4K扩展至128K及以上、RAG架构采用增加、多模态输入(图像、视频)转变。
- 视频数据所需token大小约为文本的330万倍,AI agent的KV缓存和token需求约为文本的1000倍。
- KV缓存需求每年以多倍速率增长,远超供应增速(图2)。
- 内存优化已从可选变为系统可行性的必要条件,行业聚焦压缩(10-20倍)、量化(4-8倍)和访问优化。
- 这些方法应被视为使AI工作负载进一步扩展的赋能机制,而非抑制内存需求的因素。
- 每单位内存需求的减少将被总工作量的快速扩张所抵消,因为更低成本支持更长上下文窗口、更复杂模型和更广泛部署。
- 竞争格局日益由内存效率定义,GPU厂商集成系统级解决方案以缓解内存瓶颈,替代架构在优化环境中保持优势。
论述逻辑
报告从市场对KVTC和Turbo/Quanta可能抑制内存需求的担忧出发,首先指出这些技术通过降低有效成本和提升系统吞吐量,实际上会推动更广泛的AI部署。接着,报告强调核心问题在于KV缓存需求指数增长与内存供应线性增长之间的结构性失衡,并列举多轮交互、上下文长度扩展、RAG和多模态输入等驱动因素。然后,报告论证内存优化已成为系统可行性的必要条件,压缩、量化和访问优化三种方法虽提升效率,但应视为赋能机制而非需求抑制因素。最后,报告指出效率提升将导致总工作量扩张,从而抵消单位需求减少,并认为内存效率将成为竞争关键变量。
关键展望
报告未明确给出未来验证点或时间窗口,但指出Jevons悖论在当前AI早期阶段仍然有效,暗示内存需求将持续增长。报告未提供具体价格或评级预测。
推荐标的
报告未明确给出推荐标的。提及Nvidia(NVDA US,未评级)和Google(GOOGL US,未评级)作为技术案例,但未给出投资评级或目标价。
关键图表
报告未提供可裁切的关键图表。