AI 事实性与可信性

提高 AI 系统的事实性和可信性，是当今 AI 研究中规模最大的主题之一。尽管已经取得显著进展，大多数科学家仍对这些问题能否在近期得到解决持悲观态度。

核心要点

• 如果一个 AI 系统不会输出错误陈述，就可以认为它具有事实性。提高基于神经网络的大语言模型的事实性，可以说是当前 AI 最大的研究领域。
• 可信性比事实性更广，还包括可理解性、鲁棒性以及对人类价值的纳入。可信性不足长期以来一直是 AI 系统进入关键应用领域的障碍。
• 提高事实性与可信性的途径包括：微调、检索增强生成、验证机器输出，以及使用简单、可理解的模型替代复杂模型。

本章主席： Henry Kautz

背景与历史

具有事实性的 AI 系统不会输出错误信息，也不会产生“幻觉”式答案。在生成式 AI 时代之前，事实性问题通常来自不良训练数据，正如“垃圾进，垃圾出”所概括的那样。提高数据质量的方法在 AI 领域有很长的研究历史 [1]。

生成式 AI，尤其是大型语言模型，使用的是重构式记忆：模型不是从固定存储中直接取回记忆，而是在需要时依据分布式的信息片段重新构建内容。早期生成式 LLM 之所以引人注目，一个原因是它们能够生成连贯但完全虚构的故事 [2]。针对特定领域，通过在领域数据上对模型进行微调，可以提高 LLM 的事实性 [3]。

可信性是比事实性更广泛的概念，因为它还包括可理解性、鲁棒性以及对人类价值的尊重。提高 AI 系统可理解性的传统方法之一，是用人类可以理解的简单模型替代复杂黑箱模型，例如朴素贝叶斯 [4] 或广义线性回归 [5]。

机器学习中的鲁棒性研究，关注模型输出在训练数据发生小幅变化时如何变化。例如，对比学习是一种能够提高深度神经网络鲁棒性的训练方法 [6]。生成式 AI 鲁棒性的进一步讨论见本报告“推理”章节；AI 系统尊重人类价值的问题则在报告其他多章涉及，因此本章不展开。

当前状态与趋势

如前所述，微调仍是科学家和工程师提高生成式 AI 系统事实性的主要方法。除了使用特定领域文档进行微调之外，现代微调还包括利用数千名人类反馈者开展强化学习。雇佣如此大规模的人类评估者成本很高，是 AI 系统扩展的主要瓶颈，因此研究界非常关注如何降低所需的人类反馈量 [7]。

提高生成式 AI 事实性的第二种主要技术是检索增强生成（RAG）[8]。系统收到问题后，首先利用传统信息检索算法收集一组相关文档，再要求 AI 对这些文档进行梳理和总结以生成答案。RAG 可以提高事实性，但其效果依赖被检索数据的质量。如果目标文档集合是整个互联网，系统可能把错误信息，甚至讽刺性文章纳入答案。

与 RAG 相关的一种方法，是让生成式 AI 使用工具进行事实核查。可用工具包括计算器、引文索引等事实数据库，以及形式化规划和推理系统 [9]。一种较新的方法是向系统提供一组规则，用这些规则限定答案空间；随后将模型输出与规则进行核验，不一致的回答被剔除 [10]。Amazon Web Services 已经通过“自动化推理检查”支持这种方法 [11]。

第三种提高生成式 AI 事实性的技术是思维链（CoT）。它通过一系列提示将问题分解为较小单元 [12]。CoT 经常包含让模型反思暂时结论、检查其中是否存在幻觉的步骤。该技术在本报告“推理”章节中有更详细讨论。

数据质量对事实性的影响前文已经提到。除使用人工整理的数据进行微调之外，近期也有研究试图生成质量有保证的合成数据用于微调 [13]。

可信性扩展了事实性，并包含可理解性和鲁棒性。让神经网络模型更可理解的一种方法，是将模型分解为一组高层特征识别器，然后使用加性回归等可理解模型组合这些特征 [15]。另一种方法是分析经过训练的模型中概念和规则究竟如何被表示 [16]。

还可以利用 CoT 技术要求生成式 AI 解释其推理步骤 [17]，或在系统对结论不确定时明确告知用户 [18]，从而提高可理解性。最后，也可以让生成式 AI 不直接输出单一答案，而是把复杂信息提炼为简单的人类可理解表示，例如决策树 [19]。

研究挑战

事实性问题远未解决。用于测试 LLM 事实性的基准数据集越来越多。较新的一个例子是 Google 的 SimpleQA，它包含简单、无歧义、与时间无关但具有挑战性的事实问答 [14]。截至 2024 年 12 月，OpenAI 和 Anthropic 的最佳模型在其中正确回答的问题仍不到一半。

如前所述，生成式 AI 的鲁棒性可以通过采用对比学习等鲁棒损失函数来提高。对抗训练在训练过程中对嵌入空间施加扰动，也可以同时改善鲁棒性和泛化能力 [20]。此外，用于提高事实性的技术通常也会改善鲁棒性。

社区意见

超过 75% 的 AAAI 社区受访者强烈认同：事实性和可信性与自己的研究相关或非常相关。

调查提出的六种改善事实性的途径——外部事实核查工具、强化学习、提高数据质量、数据整理、合成训练数据、新型神经网络架构——都获得支持。其中，对新型神经网络架构的研究需求最高，73% 认为其重要或非常重要；其次是外部事实核查工具，为 70%。

对于可信性，新型神经网络架构同样被认为最重要：77% 认为重要或非常重要；其次是让模型能够描述其推理过程（70%），以及使用可理解模型替代神经网络（61%）。值得注意的是，只有 24% 的受访者认为赋予 AI 系统类人个性对于提升可信性很重要。

59% 的受访者同意，目前“可信性”这一概念本身定义不清。约 60% 的受访者不同意事实性或可信性会很快得到解决。

AAAI 社区还提出了若干本章此前未覆盖的事实性和可信性维度：

• 系统应能理解并呈现同一问题的不同立场，包括每种立场的利弊。
• 可信性依赖具体领域、组织目标和用户目标。脱离上下文，把一个 AI 系统简单判断为“可信”或“不可信”是不恰当的。
• 透明度不能只涉及模型，也必须延伸到训练数据的真实来源；应包括对模型吸收事实的多源核验。
• 研究重点应放在风险及其缓解上，而不是试图“彻底解决”事实性和可信性。
• 应关注如何使 AI 智能体能够更新知识，同时保持可靠性。

参考文献

参考文献共 20 项，保持原报告题名与链接。主要包括 Budach et al. (2022)、Radford et al. (2019)、Devlin et al. (2019)、Lewis et al. (2020)、Wei et al. (2022)、Templeton et al. (2024)、Lin et al. (2022) 等。完整书目信息见原报告第 16 页。