AI 推理 | Guaifinition Docs

推理能力一直是人类智能的显著特征之一，而 AI 系统迫切需要具备可验证的推理能力。

核心要点

推理一直被视为人类智能的核心特征。推理用于从既有基础知识中推导新信息；当采用可靠的形式推理时，新信息能够得到正确性保证，否则只能认为它是合理或可信的。
AI 研究已经产生了一系列自动推理技术。这些技术形成了 SAT、SMT、约束求解器以及概率图模型等算法和系统，并在关键现实应用中发挥重要作用。
大型预训练系统（例如 LLM）在推理能力上取得了显著进展，但要保证其推理的正确性和深度仍需要更多研究。对于自主运行的 AI 智能体而言，这类保证尤为重要。

本章主席： Christian Bessiere；Holger Hoos；Subbarao Kambhampati

背景与历史

推理是人类智能的核心组成部分。自人类出现以来，溯因推理被用于预测危险，归纳推理使人类能够学习支配世界的规律。从古希腊开始，演绎推理技术逐渐形成，人们可以从已知为真的前提出发，得出逻辑上有效的结论。

具有这类先验保证的推理方法的发展，是现代科学、数学和工程进步的重要因素。Charles Sanders Peirce 等哲学家认为，溯因、演绎和归纳之间的互动构成科学方法的基础，因此也是现代科学的基础。将逻辑推理机械化的尝试可以追溯到 13 世纪哲学家 Ramon Lull，并处于“计算”概念发展的核心。概率推理和推断同样产生了深远影响，其中经常依赖 Thomas Bayes 关于逆概率的著名定理；该定理也是许多机器学习和统计方法的基础。最后，对正确（可靠）推理的评估，是大多数人类认知定量评价的核心。

毫不意外，推理一直处于 AI 事业的中心。事实上，从 Logic Theorist 开始，最早期的 AI 研究就高度关注推理 [1,2]。自 20 世纪 60 年代起，AI 也开始采用概率推理和概率模型，最早应用之一是医学诊断 [3]。此后，AI 研究覆盖了广泛的推理任务，从规划和时间推理到诊断与解释。

早期 AI 同时关注两种类型的推理：一类是合理但无严格保证的推理，例如基于案例、类比和定性推理；另一类是具有保证的可靠形式推理，包括逻辑推理、概率推理和基于约束的推理。随着时间推移，研究重心更多转向带形式保证的推理。

设计能够弥补人类局限和弱点的 AI 系统时，这种变化是有充分理由的，因为对人类而言，进行具有保证的推理本身就很困难。这推动了 SAT、SMT 和约束求解器等 AI 系统在实际应用中发挥重大作用，包括验证计算机软硬件的正确性属性、通信协议安全、新蛋白质设计，以及近期对神经网络抵御对抗攻击能力的验证。

这一研究也产生了概率图模型 [4,5]。概率图模型是强大的建模和推断工具，已广泛用于医学、机器人等诸多领域。

当前状态与趋势

互联网及相关技术使大规模捕获人类数字活动痕迹成为可能，再加上计算能力的飞跃，催生了从数据自下而上学习的新方法。尤其值得关注的是大型预训练模型，例如 LLM，它们表现出了令人惊讶的“合理推理”能力。

与早期 AI 推理研究不同，LLM 的重点在于：通过对 PB 级语料进行大规模训练，自动涌现出合理推理模式。迄今取得的结果非常显著，但这类推理仍属于“合理但无保证”的类型。

与此同时，可靠的形式推理技术仍然是许多重要前沿 AI 应用的关键基础，例如计算机软硬件验证，以及现实世界的规划和资源分配问题。形式推理也越来越被视为验证神经网络等机器学习方法的重要基础，例如验证神经网络面对对抗攻击时的局部鲁棒性 [6]。

这些领域存在大量研究活动，重点包括改进不同类型的推理算法，尤其降低计算复杂度；在可靠形式推理中利用学习；以及将推理技术与学习技术结合 [7,8]。

研究挑战

一个活跃而有前景的研究方向，是把严格的先验或事后保证重新引入由预训练模型大幅增强的合理推理模式中。对于需要在安全关键领域自主工作的 AI 系统而言，这尤其重要。所谓“大型推理模型”以及神经符号方法正在尝试解决这些挑战。

尽管具有正确性保证的形式推理目前远不如利用生成式 AI 进行合理推理流行，但这一领域仍存在艰巨而重要的问题。机器学习技术与形式推理技术的结合，可能带来具有重大经济与社会价值的突破，特别是在 AI 安全和透明度方面。

我们面对的问题从哲学层面延伸到实践层面：

究竟什么是“推理”？
LLM 的“推理”可信吗？
符号推理未来将如何发展，其角色会发生什么变化？
LLM 或其他生成模型能够在多大程度上复现或取代符号推理？
要克服当前 LLM 的局限，符号推理在多大程度上是必要条件或充分条件？
AI 推理，尤其是 LLM 的“推理”，能够在多大程度上被解释和理解？
计算机如何更好地理解和模拟人类推理？
人与计算机协作推理的角色是什么？
如何最好地将 LLM 与符号推理整合为“神经符号推理”？
要达到 AGI 级推理能力，是否需要超越 LLM 和传统符号推理的进一步突破？
在医学、科学、工程和法律等领域，应采用何种形式的推理来最好地支持人类？

社区意见

AAAI 社区总体上高度认同推理对于 AI 系统的重要性。在社区调查中，略多于 55% 的受访者选择回答与推理主题有关的问题。其中 79% 认为推理与自己的研究相关，44.7% 认为“非常相关”。

在“什么属性是将一个过程称为推理所必需的”这一问题上：

77.5% 选择“可以纳入知识”；
72.5% 选择“可以提供解释”；
56.9% 选择“需要多个步骤才能得出结论”；
仅 37.4% 选择“能够保证推断结果/输出正确”；
仅 23.7% 选择“使用形式系统和求解器”。

这反映了近期对非形式化、合理推理的关注，这种趋势很可能与生成式 AI 方法有关。这也表明，AI 社区可能需要更好地传播可靠形式推理技术的重要性及其成功经验。另有 44.7% 的受访者同意“推理涉及搜索过程”。

调查参与者普遍认同：AI 推理研究关注人类水平推理很有价值（41.6%）或必不可少（47%）。对于领域特定推理能力，49.6% 认为有价值，42.8% 认为必不可少。

社区也看到了大型预训练模型出现之前所发展出的逻辑与概率推理模型，与现代学习方法结合所产生的协同潜力。76.9% 的受访者在 7 分制量表上给“整合学习与推理方法”打出 6 或 7 分；71.7% 认为“可解释性和可验证性”非常重要。

最后，61.8% 的参与者估计，要达到人类水平推理，符号 AI 技术所占的最低比例至少应为 50%。其中 24.8% 认为应达到 75% 或更高，而 38.2% 认为 25% 或更低即可。仍不清楚 AI 研究者和实践者在多大程度上意识到：在科学和数学发现、工程应用以及 AI 安全中，那些成熟而成功的形式 AI 推理技术实际上需要并已经展现出明显超越人类的推理水平。

参考文献

Newell, A. & Simon, H. (1956). The logic theory machine: A complex information processing system. IRE Transactions on Information Theory 2: 61-79.
Brachman, R. and Levesque, H. (2004) Knowledge Representation and Reasoning (1st Ed). Morgan Kaufman.
Russell, S. J., & Norvig, P. (2016). Artificial intelligence: a modern approach (4th Ed). Pearson.
Pearl, J. (1988). Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference. Morgan Kaufman.
Koller, D. and Friedmann, N. (2009) Probabilistic Graphical Models. The MIT Press.
König, M. et al. (2024) Critically Assessing the State of the Art in Neural Network Verification. Journal of Machine Learning Research 25(12): 1-53.
Guo, D. et al. (2025) DeepSeek-R: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. https://arxiv.org/abs/2501.12948
Kambhampati, S. (2024). Can Large Language Models Reason and Plan? Annals of New York Academy of Sciences.