硬件与 AI

人工智能的软硬件架构协同设计，是指专门设计能够高效配合的软件与硬件组件，以最大化 AI 系统的性能与能源效率。

核心要点

• 算法能否高效实现取决于可用硬件，而硬件设计也会针对主流算法进行优化。
• 在大规模模型训练中，能源和吞吐量是关键挑战；数值表示、稀疏性以及数据/模型并行被视为大规模训练和推理的重要支撑技术。
• AI 系统在边缘端部署仍面临多重挑战，包括集成系统与异构硬件中的资源分配和调度竞争、能源需求与散热极限，以及应用特定的实时性要求。

本章主席： Joydeep Biswas

背景与历史

贯穿 AI 发展史，成功部署始终与硬件条件紧密相关：能够利用现有硬件特性的算法更容易被部署，而硬件发展又会进一步围绕主流算法进行加速。

在神经网络大规模普及和部署之前，已经存在少量 AI 专用硬件，用于加速搜索和优化；但真正大规模的 AI 专用硬件加速器生态，是随着人工神经网络广泛采用而迅速发展起来的。

截至 2025 年，AI 软硬件协同演进可以概括为：

• 在当前硬件上易于实现并扩展的算法更容易被广泛采用。
• 硬件设计会优先加速当前主流算法最常使用的计算操作。
• 能源——包括消耗和散热——以及吞吐量——包括数据与计算吞吐——是大规模模型训练最主要的挑战。
• 数值表示、稀疏性以及数据并行和模型并行，是大规模训练和推理的重要基础。
• 边缘端 AI 部署仍然困难，原因包括集成系统中相互竞争的资源分配和调度需求、异构硬件、能源与热耗散限制，以及应用特定的实时性要求。

当前状态与趋势

AI 用于硬件设计

芯片布局和电路设计长期受益于整数线性规划（ILP）求解器驱动的自动布线，功能验证也被用于验证芯片设计。近期，人们对使用机器学习技术辅助芯片设计的兴趣显著增长 [11]。

符号 AI、规划与搜索

IBM 为国际象棋设计的超级计算机 Deep Blue [1]，以击败世界冠军 Garry Kasparov 著称，展示了专用硬件对搜索算法加速的价值。近年来，机器人运动规划也通过 FPGA [2]、GPU [6] 以及 SIMD 指令 [8] 得到加速。

概率方法与数值优化

计算几何、传感器融合和状态估计依赖 SIMD 加速的线性代数操作，例如 Eigen C++ 线性代数库；数值求解器则依赖针对硬件优化的矩阵分解。

Intel MKL、AMD OCL、Nvidia cuSOLVER 等线性代数库包含硬件特定的加速运算，并提供专门的稠密和稀疏矩阵分解例程。ASIC 也已经用于加速边缘设备上的视觉定位和建图算法 [3]。

机器学习

今天的机器学习主要由人工神经网络驱动，针对这类负载的硬件加速器非常多，包括 GPU、TPU、图像处理单元、Graphcore IPU 以及神经形态计算硬件。

硬件与机器学习前沿之间的紧密关系可以概括为：“深度学习由硬件促成，而其进展也受硬件限制” [5]。

模型架构虽然快速变化，但已经证明对加速有价值的关键创新包括：

• 新型数值表示 [5]；
• 加速矩阵乘法；
• 包括光互连在内的高带宽互连 [7]；
• 有限形式的稀疏性 [5]。

要实现高性能部署，需要深入的硬件特定优化。TensorFlow 和 PyTorch 等通用框架可以快速提供硬件加速，适合原型和研究，但针对算法和硬件定制优化通常可以获得显著更高性能。

研究挑战

数值表示

最先进模型已经证明，降低数值精度可以显著提高吞吐量，而只产生极小精度损失；在模型总比特数相同的条件下，低精度表示甚至可能取得更高性能 [10]。让硬件适配模型最优数值表示，是重要未来方向。

稀疏性

数值求解器长期利用稀疏性实现大规模矩阵分解，但对于机器学习模型中的任意稀疏模式，很难获得同样收益。支持更一般稀疏结构的硬件仍是开放挑战。

扩展与系统级约束

训练最先进机器学习模型不仅需要加速计算，还需要大量系统工程。挑战包括：

• 内存瓶颈；
• 通信瓶颈；
• 大规模分布式训练和推理中的模型并行与数据并行；
• 检查点保存所需的峰值存储吞吐；
• 能源消耗；
• 热管理。

边缘端部署

随着先进模型规模和计算复杂度急剧增加，边缘部署面临电力、散热和内存等显著限制。实际系统还常常集成大量异构组件，进一步引发资源分配和调度问题。

AI 用于系统与硬件

预测未来 AI 算法发展非常困难。随着算法变化速度加快，人类硬件工程师和软件栈开发者不可避免地越来越难及时设计最优协同方案。

因此，能够辅助人类设计、缩短优化周期，并指导或控制运行时自适应的 AI 技术，可能会成为核心方向 [9]。

社区意见

调查显示，社区高度认同 AI 硬件与算法研究之间需要紧密互动。

1. 关于软硬件共同演进，75% 的受访者认为“非常重要”或“绝对关键”，其中 52.63% 选择非常重要，22.81% 选择绝对关键。
2. 关于算法进展对硬件发展的依赖，61% 认为二者关系极为密切：42.11% 认为“密切相关”，19.30% 认为“不可分割”。
3. 57.9% 支持开发与具体硬件无关的抽象层，以便研究者专注算法创新，而不受底层硬件细节限制；28.07% 中立，约 14% 反对。
4. 模型训练中，80.70% 使用 GPU，68.42% 使用 CPU；部署时，CPU 和 GPU 的使用比例都为 68.42%。
5. 大多数 AI 部署发生在本地用户计算机（71.93%）或云平台（59.65%）；19.3% 部署在边缘计算优化硬件，15.79% 部署在移动设备。
6. 训练阶段最主要的限制因素是内存容量（52.63%），其次是计算吞吐（49.12%）、内存吞吐（35.09%）和功耗（28.07%）。
7. 部署阶段最主要瓶颈是计算吞吐（47.37%），其次是内存容量（35.09%）和功耗（24.56%）。成本也被多名受访者作为额外问题提出。
8. 对于多组件系统，主要问题包括实时约束（33.33%）、组件间通信（29.82%）以及硬件资源竞争（24.56%）。

参考文献

参考文献保留原报告编号与英文书目信息；完整条目见原报告第 42 页。