黄细里 行业研究 行业深度 AI系列深度15期：Transformer如何开启AI第二次爆发

摘要

东吴证券指出，AI第二次爆发的本质是模型能力形成方式从依赖人工设计转向“规模化学习”，打破了AI 1.0时代“一任务一模型”的局限。 Transformer凭借自注意力机制解决了循环网络的串行计算和长程依赖瓶颈，其弱归纳偏置特性使其成为跨模态的通用底座。 报告将大模型演进总结为“模型能力奠基”、“人机对齐与行为优化”及“推理与外部系统赋能”三个阶段，并指出2017年以来主干架构趋于稳定，能力提升更多源于系统工程优化。 复盘GPT 2018至2026年的发展历程，验证了从基础语言模型到产品化、多模态及推理模型的产业落地路径。 同时，Scaling Law已从早期预训练幂律扩展为涵盖训练、推理、数据与对齐的全链条资源优化框架。 目前Transformer已推动AI在架构、任务与模态上实现三重收敛，基本成为数字AI任务的通解。 但报告认为数字模型难以实现物理世界闭环，物理AI特别是智能驾驶将成为未来增量更大的核心方向。

主要观点

• AI第二次爆发的核心逻辑发生根本变化，模型能力不再依靠人工定制，而是依托海量数据与规模化训练自主形成。

• Transformer通过自注意力机制打破串行计算与长程依赖瓶颈，成为跨模态通用底座。

• 大模型演进可概括为模型能力奠基、人机对齐与行为优化、推理与外部系统赋能三个递进阶段。

• 2017年以来底层主干架构保持稳定，能力提升更多来自MoE稀疏化、长上下文扩展等而非底层架构切换。

• GPT系列经历了基础语言模型、产品化、多模态和推理模型四个阶段，完成了从架构验证到多模态交互的跃迁。

• ChatGPT/GPT-3.5标志着基础语言模型正式转向对话式AI助手，实现了从“能续写”到“能对话”的产品化跨越。

• Scaling Law经历了六阶段演进，从预训练幂律扩展为涵盖训练、推理、数据、架构与对齐的全链条资源优化框架。

• Transformer带来了架构、任务和模态的三重收敛，使大语言模型成为数字AI任务的通用底座。

• 数字AI底座难以解决物理世界闭环，物理AI特别是智能驾驶将成为增量更大的核心方向。

论述逻辑

• AI 1.0时代受限于强归纳偏置和定制化设计，Transformer引入弱归纳偏置和并行计算开启AI 2.0规模化学习 -> 随着主干架构趋于稳定，能力重心转向数据工程、后训练对齐与外部推理系统赋能 -> Scaling Law随之从单一预训练扩展为全链条资源优化 -> 最终实现架构、任务与模态三重收敛，确立数字AI任务通解 -> 鉴于数字模型难以闭环物理世界，推导出物理AI及智能驾驶为下一个关键增量。

关键展望

• 推理阶段算力与强化学习带来的能力增量，能否稳定迁移至视觉生成、复杂多模态交互与真实物理闭环场景仍需持续验证。

• 大模型能力提升的重心已转向由后训练对齐、测试时计算、工具调用等构成的系统化能力扩展。

• 算力与系统工程、数据工程、对齐优化、推理系统建设将成为后续更需重点关注的环节。

推荐标的

• 报告未明确给出具体推荐标的，但维持汽车行业“增持”评级。