花旗 美国半导体：AI基础设施峰会第2天：网络即计算机

摘要

花旗半导体分析师 Atif Malik 与 James Bowlin 现场参加了在加州圣克拉拉举行的 AI 基础设施峰会第 2 天活动，聚焦网络侧要点，核心判断是：随着 AI 工作负载更推理密集、上下文更丰富，基础设施扩张不仅靠扩充算力，还要靠内存层级、HBM、系统架构与网络架构的创新。 Broadcom 论证以太网正成为大规模 AI 基础设施的首选互联，Tomahawk 路线图带宽持续翻倍、Tomahawk 6 达到 102.4 Tbps 以支撑更大 AI 集群，并声称较替代方案有 30% 以上的 5 年 TCO 优势。 Marvell 指出推理时代的关键挑战是 KV cache 快速增长，上下文窗口扩大后 KV 数据可能超出 HBM 容量，迫使系统从更慢内存层重载或重算，推高延迟、内存流量与功耗。 Samsung 预计 AI 从生成式 AI 演进到代理式 AI、物理 AI，将带来训练基础设施需求约 3 倍、推理需求约 100 倍的增长；HBM 性能约每代翻倍，HBM4E 单 GPU 带宽达 16 TB/s，HBM5 较 HBM4E 性能翻倍，zHBM 较 HBM5 单 GPU 性能高 4—8x，Z-NAND 采样预计 2028 年。 AWS 回顾从 2015 年收购 Annapurna Labs、2018 年推出 Graviton 到 Inferentia、Trainium 4 的自研芯片路径，强调 Trainium 的每美元内存带宽优势与 Rainier 集群等全栈部署。 本报告为会议纪要式 Flash 快评，未给出任何个股评级、目标价或盈利预测。

主要观点

• 花旗现场参会结论：AI 工作负载更推理化、上下文更丰富后，基础设施扩张不只靠扩算力，还要靠内存层级、HBM、系统架构与网络架构（networking fabrics）的创新来维持性能与效率。

• Broadcom 主张以太网正成为大规模 AI 基础设施的首选互联，Tomahawk 与 Jericho 产品家族定位为部署的网络基础，且拥有覆盖 NIC、交换机与软件的完整以太网 AI 网络组合。

• Tomahawk 路线图带宽持续翻倍，Tomahawk 6 达到 102.4 Tbps、支撑更大 AI 集群；Broadcom 称效率提升带来更低功耗、散热与基础设施成本，5 年 TCO 较替代方案低 30% 以上。

• 图 1 展示 Broadcom 覆盖 HPC、AI Scale-Up、AI Scale-Out 与 Region Scale-Out 的完整 AI 以太网组合；图 2 以 5 年总拥有成本对比，凸显高效架构相对功耗多 48% 方案的 TCO 节省。

• Marvell 指出 KV cache 快速增长是推理基础设施的关键挑战：上下文窗口扩大后 KV 数据可能超出 HBM 快速内存容量，迫使系统从更慢内存层重载数据或重算上下文，推高延迟、内存流量与功耗，降低系统整体效率。

• Samsung 预计 AI 将沿生成式 AI → 代理式 AI → 物理 AI（数字孪生、人形机器人、自动驾驶）演进，对应训练基础设施需求约 3 倍、推理需求约 100 倍的增长，内存、存储、功耗效率与散热愈发重要。

• Samsung 表示 HBM 性能约每代翻倍：HBM4E 单 GPU 带宽 16 TB/s、较 HBM4 能效提升 20%、热阻低 10%；HBM5 较 HBM4E 性能翻倍、能效提升 20%、热阻降低 20%；zHBM 较 HBM5 单 GPU 性能高 4—8x、能效好 3x、热阻低 75-90%（0.1x-0.25x 热阻）。

• Samsung 介绍 Z-NAND：基于 SLC 的 NAND、采用 TSV 堆叠，读性能接近 LPDDR5 DRAM、位密度为 DRAM 的 10 倍，采样预计 2028 年，被视为迈向高带宽闪存、弥合 AI 系统中 DRAM 与 NAND 差距的第一步。

• AWS 自 2015 年收购 Annapurna Labs 起推进硬件专用化：2018 年推出面向云工作负载的 Graviton，Inferentia 为其首个大型 AI 加速器，经多代 Trainium 演进至 Trainium 4；Trainium 核心差异化在每美元内存带宽，采用脉动阵列架构、原生 PyTorch 支持，并通过 Rainier 集群等全栈创新压缩从芯片制造到生产级 AI 工作负载的周期。

论述逻辑

• AI Infra Summit 第 2 天聚焦网络 → 花旗提出“网络即计算机”：AI 工作负载推理化、上下文加长后，性能与效率取决于内存层级、HBM、系统架构与网络 fabric 而非单纯堆算力 → Broadcom 以完整以太网组合 + Tomahawk 6（102.4 Tbps）+ 30% 以上 5 年 TCO 优势论证以太网成为大规模 AI 互联首选 → Marvell 以 KV cache 超出 HBM 引发的延迟/内存流量/功耗问题论证内存层级与网络 fabric 创新的必要性 → Samsung 以约 3x 训练、100x 推理需求增长及 HBM4E→HBM5→zHBM、Z-NAND 路线图给出存储侧应对 → AWS 以 Trainium 的每美元内存带宽和 Rainier 集群全栈部署展示自研芯片的系统级落地 → 综合结论：网络、内存与系统架构的协同创新将决定 AI 基础设施扩张的性能与效率。

关键展望

• Samsung Z-NAND 采样预计在 2028 年，被定位为迈向高带宽闪存、衔接 DRAM 与 NAND 的第一步。

• Samsung 预期 AI 演进至代理式 AI 与物理 AI 阶段后，训练基础设施需求约 3 倍、推理需求约 100 倍增长，是内存、存储、功耗与散热需求的长期驱动。

• 产品路线图验证点：HBM5 预计较 HBM4E 性能翻倍、能效提升 20%、热阻降低 20%；zHBM 较 HBM5 单 GPU 性能高 4—8x、热阻低 75-90%。

• 报告为会议要点纪要，未给出个股目标价、评级调整或量化的盈利/业绩预测。

推荐标的

• 报告未明确给出推荐标的：正文仅梳理 Broadcom、Marvell、Samsung、AWS 四家峰会演讲公司的观点，全文未附任何评级、目标价或投资建议。

关键图表

图1. 博通：完整的AI以太网产品组合，助力规模化扩展