AI 评估

AI 评估是对 AI 系统的性能、可靠性和安全性进行评价的过程。

核心要点

• AI 系统带来了独特的评估挑战，其范围远超标准软件验证与确认方法。
• 当前评估方法主要围绕基准测试，例如生成模型质量，但对可用性、透明度、伦理准则遵循等关键因素关注不足。
• 要为可信、广泛部署的 AI 系统提供足够保证，需要新的见解和评估方法。

本章主席： Karen Myers

背景与历史

近期 AI 的进步催生了大量潜在应用，但许多组织仍对部署 AI 系统持谨慎态度，因为存在多种风险，包括生成式 AI 幻觉带来的声誉损害、专有数据泄露，以及无法确认法律和伦理护栏能否被真正执行。

实证方法长期以来一直在 AI 研究中发挥作用 [1]。研究社区已经建立了丰富的指标与方法体系，用于评估单独的 AI 算法，从而量化性能并跟踪进步。相比之下，对于整个 AI 系统在现实环境中的部署，尤其是非 AI 专家如何使用这些系统，关注明显不足。

AI 系统带来的评估挑战远远超出标准软件验证和确认的范围。AI 能力的通用性、复杂性和广度使得穷举测试不可行，因此必须重新思考什么程度的测试才算充分。运行时适应以及学习模型持续演化，可能即时改变系统行为，因此需要持续监控和验证。许多 AI 系统以交互方式使用，因此协作式使用及其对人的影响也必须纳入评估。

当前状态与趋势

当前生成式 AI 的评估实践主要集中在模型层面的基准测试。部分基准测量一般能力，例如 GLUE [2]、ARC-AGI [3] 和 MMLU [4]；另一些测量特定类型的推理或知识，例如数学领域的 MATH [5]、逻辑领域的 GPQA [6] 和编程领域的 HumanEval [7]。

基准驱动评估能够揭示能力与缺陷，并为持续测量进步提供原则化方法。但基准只是 AI 能力的代理，其设计不可避免地带有具体情境，不一定能良好泛化到新领域。

此外，基准测试通常忽略真实部署和人类使用因素，因此不足以保证系统成功部署。基准驱动方法还容易导致过拟合，以及训练数据污染测试数据的问题。Goodhart 定律对此作了概括：“当一个指标成为目标时，它就不再是一个好指标。”

对 AI 系统进行评估本质上十分复杂，尤其当系统应用范围广、部署后仍能继续学习时。需要一种平衡方案：标准必须清晰透明，同时又要避免为了特定指标过度优化，从而牺牲更广泛的可靠性、公平性和现实适用性。

系统级评估通常选择具有代表性的使用场景，而不是追求全面覆盖。红队测试则通过对抗性交互寻找系统行为与预期目标之间的不一致，是一种补充方法。

未来 AI 评估必须同时考虑系统性能的多个维度。大多数评估工作主要关注“能力”，即系统在预期问题范围内是否能对查询或任务给出正确答案和行为。这是系统可用的必要条件，但绝不是全部。

可用性也是关键维度。可用性的核心因素之一是透明度，即系统提供机制，让用户理解其行动和回答的依据。可用性还要求“可指导性”，即用户能够控制并修改系统行为，以满足当前和特定需要，这通常被归入“对齐”问题。

当 AI 用于帮助人类时，评估必须考察技术是否真正改善了人机联合系统的总体性能。

法律与伦理合规也是重要维度。越来越多国家和地区制定法律，限制 AI 系统可以如何运行，因此必须验证系统是否始终处于规定护栏内。政府和商业组织也具有伦理与经济动机，确保 AI 的使用公平且不存在不当偏差。

为此，已经提出多种可信 AI 评估框架，用于指导组织评价公平性、透明度、鲁棒性和伦理合规性，例如欧盟可信 AI 评估框架、NIST AI 风险管理框架以及 ISO/IEC 42001:2023 AI 管理体系标准。

AI 系统的部署还涉及多个运行问题。隐私是主要问题之一：必须保护模型中的个人或企业信息不被泄露。AI 系统本身也成为攻击面，攻击者可能试图窃取数据或模型权重，或操纵输出使其服务于与模型开发者不同的目的。

资源消耗以及训练、部署成本同样必须纳入整体性能评估。

综合评估框架必须共同权衡公平性、鲁棒性、可解释性，以及对持续演化法规的遵守程度，确保 AI 系统安全、高效，并符合伦理与法律标准。

研究挑战

需要建立真正的“AI 系统评估科学”，向评估流程注入更高严谨性。它应建立在现有指标和方法之上，同时引入新的方法，以提高我们对 AI 系统能否部署到任务关键环境中的信心。例如，对 RAG 系统的评价已有专门研究 [8]。

审计与可复现框架对于确保结果可靠、稳健非常重要 [9]；同时，AI 教育也应更加重视正确的实证研究方法。

关键挑战包括：

• 更好理解如何长期监测和评估已部署的 AI 系统，尤其是行为会持续演化的系统。
• 建立评估智能体式 AI 系统安全性的框架，因为这类系统可以在现实世界中采取行动。
• 开发方法，提高机器学习模型内部机制的透明度。
• 建立直接评估人类如何与 AI 能力交互的方法，类似图灵测试所体现的人机互动视角。
• 理解不同评估维度之间的权衡，例如提高透明度是否值得增加成本、遵循护栏是否会损害隐私，以及其他跨维度因素如何影响整体结果。

社区意见

调查显示，社区对当前 AI 系统评估实践存在显著担忧。75% 的受访者同意或强烈同意：“AI 系统评估缺乏严谨性正在阻碍 AI 研究进展。”只有 8% 不同意或强烈不同意，17% 持中立态度。

这进一步表明，社区需要把更多注意力投入评估问题，并开发更适合新型 AI 方法和能力的技术。

有趣的是，只有 58% 的受访者同意或强烈同意：“如果没有更有说服力的评估方法，组织会不愿部署 AI 系统。”约 17% 不同意或强烈不同意，25% 中立。如果研究评估缺乏严谨性也意味着应用评估缺乏严谨性，那么这两组结果可能意味着：一些 AI 应用正被快速投入使用，而没有经过足够验证。

关于“你在 AI 工作中有多少时间用于评估”，90% 的受访者表示超过 10%，30% 表示超过 30%。这表明受访者高度重视评估，但也说明评估本身可能构成显著负担。因此，需要思考如何减少评估成本，例如推动最佳实践和指南、加强数据集共享，以及继续发展社区共建基准。

对于“AI 系统评估最大的挑战是什么”，40% 选择缺乏合适的评估方法，26% 选择系统的黑箱性质，18% 选择评估所需成本和时间。这进一步表明评估方法必须与当前技术和更广泛的部署情景一起演化。

参考文献

参考文献包括 Cohen (1995)、GLUE、ARC-AGI、MMLU、MATH、GPQA、HumanEval、RAGAs，以及 AI 研究可复现性相关工作。完整条目见原报告第 24 页。