AI 伦理与安全
AI 的伦理与安全挑战要求采用统一方法，因为短期与长期风险正日益相互交织。
AI 的伦理与安全挑战要求采用统一方法，因为短期与长期风险正日益相互交织。
核心要点
- AI 快速发展使伦理和安全风险更加紧迫，也更加相互关联；目前仍缺乏足够的技术机制和监管机制来处理这些问题。
- AI 驱动的网络犯罪、自主武器等新兴威胁需要立即关注，新型 AI 技术的伦理影响同样如此。
- 伦理与安全挑战要求跨学科合作、持续监督，以及在 AI 开发过程中建立更清晰的责任机制。
本章主席： Vincent Conitzer；Stuart Russell
背景与历史
AI 越成功，责任也越大。由于 AI 能力不断扩大、部署范围不断增加，AI 研究者和实践者做出的选择可能对世界产生深远影响。AI 对世界的影响并不必然是积极的，因此社区越来越关注所开发 AI 的伦理与安全。
“伦理”和“安全”两个概念本身都难以精确定义，而且含义存在重叠。确保自动驾驶汽车不会撞到行人显然是安全问题，但部署这类汽车本身也存在伦理问题。确保风险评估算法不会对人产生不公平歧视主要是伦理问题，但不公平歧视也可能把人置于不安全环境中，例如预测性警务。推荐系统逐步操纵用户相信阴谋论，则同时涉及伦理与安全。
统一这些问题的根本要求是：AI 系统应以有益于人类的方式行动。但“有益”本身在道德哲学和应用伦理学中也存在争议。如今世界各地不同的 AI 伦理框架、AI 安全研究机构和 AI 监管尝试，反映了对这些问题的不同理解。
另一个维度是我们究竟关注即时伤害还是未来伤害。有时，人们认为“AI 伦理研究者”主要关注不公平歧视等当前伤害，而“AI 安全研究者”主要关注 AI 最终毁灭人类等未来风险。报告认为，这种划分具有误导性：今天的 AI 已经可能造成安全问题，而构建一个有显著概率毁灭人类的 AI 系统同样显然是伦理错误。
不过，对未来进行推测的意愿或不愿意，历史上确实长期把关注 AI 风险的人分成不同群体，这与领域的发展史有关。
过去几十年，AI 领域经历了数次繁荣和低谷，塑造了研究社区。由于过度承诺，AI 经历过数次“寒冬”，并常常受到其他计算机科学家的怀疑。在深度学习革命之前，甚至许多机器学习研究者也避免使用“人工智能”一词来描述自己的工作，而更愿意强调研究的统计严谨性。
AI 社区逐渐学会谨慎，避免对未来作过度推测，而 Nick Bostrom 等哲学家则承担了更多这类讨论 [1]。
随着 AI 广泛部署，对技术风险的担忧不断增长，但这些担忧大致分成两个社区。一类把趋势外推到未来，关注 AI 有一天可能在总体能力上超过人类，以及这可能对人类产生的巨大影响，包括普遍失业、人生目的感丧失、社会动荡甚至系统性崩溃。
其中最突出的担忧是：如果机器比人更有能力，会发生什么。Alan Turing 在 1951 年曾指出：“我们必须预期机器会取得控制。”更具体地说，由于正确指定目标非常困难，即所谓“迈达斯国王问题”，AI 系统很可能最终追求与人类目标不一致的目标，而人类届时可能无力阻止。问题还会因“工具性目标”而加剧，例如自我保存和资源获取几乎可以成为任何目标的手段。
这类观点与学术 AI 社区长期以来对未来推测的反感发生冲突，但近年来也有不少领先学者开始打破这一传统，例如签署“暂停”公开信 [2]。
另一类社区更关注 AI 当前已经造成的伤害，并在学术界得到更多支持，形成 AIES 和 FAccT 等会议，研究 AI 的广泛社会影响。一些人反对未来主义推测还有其他原因，例如担心企业会为了自身利益强调极端风险，从而提高其工作的重要性，并转移公众对当下伤害的注意力 [3]。
当然，也可以合理质疑企业是否真的会从“自己的技术可能毁灭人类”这种叙事中获益。但“技术发展不可避免”的叙事确实可能削弱有效应对现实风险的能力，而当前伤害显然值得重视。
实际上，这两个社区从来没有真正彻底分离。例如，它们长期共同反对致命自主武器系统 [4,5]。人为制造伦理与安全之间的裂痕，无助于解决任何一方关心的问题。
当前状态与趋势
近期 AI，尤其 LLM 的进展，意味着一些过去被视为未来主义的问题已经成为现实问题。其中包括如何保证系统安全，特别是如何使 AI 的行为与人类真正希望它做的事情对齐 [6]。
即使在五年前，多数 AI 研究者可能都难以想象：今天领先 AI 系统的行为居然可以通过选择某些英文价值陈述来引导，例如要求系统选择“最像 Martin Luther King Jr. 或 Mahatma Gandhi 这类和平、道德且智慧的人会说的话”的回应 [7]。
但与此同时，今天的对齐方法，包括使用这类陈述的方法，往往非常脆弱；它们是否真正是正确路线仍存在严重疑问。
对于多年存在的近距离、即时 AI 风险，更强大的 AI 能力和更广泛部署使问题进一步恶化。
例如网络犯罪：如今恋爱诈骗可以使用 AI 在与受害者视频通话时实时改变诈骗者面部 [8]。更广泛地说，深度伪造已经很难与真实内容区分，引发从错误信息和虚假信息，到深度伪造报复性色情等多种社会问题。
在战争中，自主武器也已经大规模出现 [9]。与此同时，当前 AI 系统已有能力又带来新的近期担忧。例如，它们是否会帮助设计危险新化合物？已有研究证明，只需反转原本用于避免毒性的系统目标，就可以生成高毒分子 [10]。近期“Cybertruck 爆炸案”攻击者还使用 ChatGPT 辅助策划攻击 [11]。
一个体现伦理研究与安全研究共同利益的最新发展，是国际安全与伦理 AI 协会（IASEAI）的成立。该组织于 2025 年 2 月举办首届会议，现场有约 700 名参会者，还有更多线上参与者。其使命是“确保 AI 系统能够被保证以安全且符合伦理的方式运行”，强调围绕 AI 系统行为建立严谨的科学和工程体系。
研究挑战
学术界在这些问题上天然具有重要作用，因为它不必承担向股东负责的义务。但由于领先模型规模大、成本高，目前这类模型主要并不是在学术界开发。
由此产生一系列问题：
- 学术研究是否需要大幅增加算力预算？
- 学术界—产业界合作能否解决问题，还是会产生过大的利益冲突？
- 目前算力规模极其重要的局面是否只是暂时现象？
另一个核心问题是：伦理与安全问题应在什么阶段检查和解决？
- 在系统部署前评估是否足够？
- 是否应该“从设计阶段”嵌入伦理与安全？
- 还是需要在系统部署到现实世界后持续监控？
- 在神经网络时代，我们能否形式化验证系统符合某些伦理或安全要求？
- 什么才算“故障安全 AI”？
- AI 系统脱离人类控制的早期预警信号可能是什么？
还必须解决责任分配问题。现代系统通常由不同个人和组织开发的多个组件组合而成。在这种情况下，责任应如何确定？系统能否设计成模块化结构，并为每个组件规定清晰要求？
对齐问题——确保 AI 系统帮助实现人类希望看到的未来——还带来一系列艰难问题：
- 如何考虑所有人的利益 [12]？
- 尚未出生的未来人类的利益如何考虑？
- 如何防止 AI 操纵人类偏好，使其更容易满足？
- AI 是否应该帮助那些希望伤害他人的人？
- 当先进 AI 的存在本身威胁到人的目的感时，系统应如何响应？
AI 研究传统上很少接受伦理审查委员会（IRB）审查。这是否合理？例如：
- 在整个互联网数据上训练是否需要伦理审查？
- 面向儿童的 AI 是否应接受审查，以确保不会对儿童造成心理伤害 [13]？
- AI 论文审稿人是否应接受伦理问题评估培训，并能够一致地审查“影响声明”？
- 更一般地说，应如何教育 AI 研究者和实践者理解伦理与安全问题？
这些问题并不总能明确划分为计算机科学家或其他学科专家的责任，尤其因为问题类型极为多样 [14]。某些问题是否可以通过统一方法解决，例如通用对齐技术；还是必须针对不同问题使用不同方法？这是否取决于技术的通用程度？
跨学科研究目前仍存在很多障碍。某些主题是否必然需要其他学科参与？例如，社会共同塑造 AI 技术是否必须与政策研究和政治学结合？这些研究的关键问题是什么？怎样的环境最有利于这种研究？
社区意见
调查显示，AI 伦理、安全和价值对齐具有很高相关性。67.5% 的受访者认为它与自己的研究相关或非常相关。
最紧迫的伦理挑战包括：
- 错误信息：75%
- 隐私：58.75%
- 责任：49.38%
这表明 AI 系统需要更强的透明度、可解释性和问责机制。
57.86% 的受访者认为 AI 伦理研究资源不足，需要增加资助和制度支持。
85.5% 强调多学科方法的重要性；71.88% 支持技术研究，60.62% 支持监管，74.38% 支持教育作为主要策略。
短期伦理问题与长期推测性风险之间如何平衡仍存在争论，但 55.63% 认为两个社区应该更有效协调，而不是彼此隔离。
对于促进协作，76.25% 认为联合会议有效，64.38% 认为多学科教育有效。
开放式回答还强调：需要更强的激励、法律责任和可执行安全标准；一些人主张 AI 应学习价值，而不是只依赖刚性护栏。与此同时，也有人怀疑 AI 伦理概念过于模糊、过度受政治影响，因而限制行动效果。
部分受访者强调哲学家和伦理学家的作用，另一些则指出现有标准本身都没有得到执行，因此单纯制定监管可能无效。政治和结构性障碍同样突出，治理与意识形态分歧可能阻碍真正进展。
参考文献
参考文献共 14 项，包括 Bostrom 相关讨论、Future of Life Institute 公开信、Constitutional AI、深度伪造诈骗、自主武器、危险分子生成、AI 对齐及 Moral AI 等资料。完整书目信息见原报告第 29 页。