黄细里 童明祺 行业研究 行业深度 AI系列深度26期：云端基座模型如何在毫秒级车端跑起来

摘要

报告指出，学术缩放定律关注训练算力最优，但在智能驾驶场景下，推理成本和毫秒级实时时延成为核心约束，导致部署最优点向更小模型和更多训练数据偏移。 云端基座模型通过稀疏化（如MoE）、注意力/KV缓存压缩（如MLA）、视觉Token剪枝和隐式或动态Token思维链压缩来提升效率，目标是在探索能力上限的同时降低多模态推理成本。 车端部署则强调实时性，主流范式包括云端大模型蒸馏上车和快慢双系统，如理想将32B基座蒸馏至4B车端VLA，小鹏通过720亿参数基座蒸馏并优化编译效率提升约12倍。 目前量产大模型实际推理帧率约10Hz，以满足固定车规算力（如约254TOPS的Orin-X和约700TOPS的Thor-U）下的高频推理要求。 报告认为，未来云车分工将趋于云端探上限、车端保实时，物理AI将成为增量更大的方向，智能驾驶作为最先跑通闭环的代表场景值得重点关注。

主要观点

• 学术缩放定律关注训练最优，但计入推理成本与毫秒级时延后，部署最优点向更小模型、更多数据偏移。

• 车端实时性是大模型上车的核心约束，现有车载算力难以支撑大型VLM叠加LLM的高频推理。

• 当前车规算力相对固定，NVIDIA Orin-X约254TOPS，继任者Thor-U单颗约700TOPS。

• 当前量产智驾大模型实际推理帧率约10Hz，低于部分研究提出的30Hz参考水平。

• 云端效率优化以通用模型稀疏化与注意力压缩为主，如DeepSeek-V3通过671B总参仅激活37B降低算力开销。

• 隐式或动态Token思维链压缩可缩短串行时延，小鹏称其视觉推理思维链效率提升约32倍。

• 车端部署优化的核心路径是云端基座蒸馏上车，理想将约32B基座蒸馏为约4B车端VLA。

• 小鹏面向L4的720亿参数基座经蒸馏部署车端，并称基座编译效率提升约12倍。

• 快慢双系统通过分离快速响应与复杂推理兼顾时延与长尾能力，如理想的端到端+VLM双系统及Waymo的Think Fast/Slow架构。

• 推理工程手段（量化、解码优化等）进一步压低时延，理想在Thor上以INT8/FP8运行VLA。

• 物理AI将成为物理世界的AI解决方案，智能驾驶作为最先跑通闭环的代表场景应重点关注。

论述逻辑

• 自动驾驶在固定车规算力下面临硬实时帧率的严苛约束。

• 为解决云端扩张与车端毫秒级响应的矛盾，云端通过稀疏化、KV缓存压缩、视觉Token剪枝及思维链压缩来降低推理成本。

• 车端则依赖云端大模型蒸馏上车与快慢双系统架构，辅以量化与编译优化等工程手段实现低时延部署。

• 由此推导出未来云车分工将趋于云端探上限、车端保实时的协同结论。

关键展望

• 云车分工将趋于云端探上限、车端保实时的协同分工。

• 云端将继续探索能力上限，并降低长序列和多模态推理成本。

推荐标的

• 报告未明确给出具体推荐的公司标的，但给予汽车行业“增持（维持）”评级。