通用人工智能（AGI） | Guaifinition Docs

AI 领域长期追求通用、接近人类水平的能力。近年来神经网络模型展现出更一般化的能力，使 AGI 的发展方向、成功后的影响以及是否应追求这一目标再次成为核心讨论。

核心要点

探索智能的基本原理与机制，并希望利用这些机制实现人类水平能力，从 AI 创立之初就是核心目标，1956 年学科奠基者已经明确提出类似愿景。
2000 年代初重新强调“人类水平 AI”和“人工通用智能”，源于当时大量狭窄 AI 应用成功部署，而一些研究者认为领域对更宏大目标的推进不足。
AGI 缺乏精确定义，其价值也存在争论；但 AGI 和“人类水平 AI”等愿景长期推动了 AI 基础研究，并构成未来更强 AI 的核心问题框架。
成功构建 AGI 也可能带来社会扰动、重大风险与安全挑战，甚至影响人类福祉和生存。

本章主席： Eric Horvitz；Stuart Russell

背景与历史

AI 领域一直探索智能的一般原理。图灵测试就是典型例子：要通过测试，机器必须在广泛领域中达到或超过人类应具备的知识和推理能力。

1955 年 Dartmouth 研讨会提案提出一个极具雄心的假设：学习和智能的每个方面原则上都可以被精确描述，以至于机器能够模拟；研究将尝试让机器使用语言、形成抽象和概念、解决原本只有人类才能解决的问题，并实现自我改进。

这一议程影响了 McCarthy 的 “Programs with Common Sense”、Newell 和 Simon 的 General Problem Solver，以及 Solomonoff 的 Universal Induction。1957 年 Herb Simon 甚至预测，机器可处理的问题范围最终会与人类心智所处理的问题范围一样广。

因此，构建具有一般智能能力的机器一直是 AI 原始目标之一。之后几十年，大多数研究者逐渐专注于具体方法或智能组成部分，较少研究如何把这些部分整合成通用系统。现实系统长期表现狭窄且脆弱，由此出现对“AI 是否忘记了大图景”的批评。

1995 年，Nils Nilsson 在 “Eye on the Prize” [1] 中呼吁重新努力构建具有一般、类人能力的程序。2002 年 Marvin Minsky 又组织 “Designing Architectures for Human-Level Intelligence” 工作坊。

“人工通用智能（AGI）”一词也在 2000 年代初形成，代表研究者重新强调更高目标。当时机器学习已经在多个专用领域成功落地，但每个应用都十分狭窄。这推动了对更通用、更强方法的追求。

AGI 通常被理解为：AI 在广泛任务上达到或超过人类认知能力。同期还出现 general-purpose AI、strong AI 等术语，但 AGI 最终成为研究和公众讨论中的主流用语。

2008–2009 年 AAAI 长期 AI 未来总统专题小组 [2] 讨论了通用、人类水平智能的可行性、影响、伦理、安全和研究方向。

AGI 定义与争议

围绕 AGI 存在多个概念分歧。

意识与感知性

大众讨论有时把意识或感知性视为 AGI 的必要特征。AI 研究者通常避免这种推测，因为分析和预测系统行为，并不要求先判断它是否具有意识。

智能体能力

一些研究者认为 AGI 应具有智能体式能力，即像人一样感知、学习、处理信息并作用于环境，以实现目标。

自主性

更具争议的是：AGI 是否会形成完全不同于人类赋予目标的自身目标。逻辑上系统可以覆盖自身目标，但如果这样必然导致当前目标失败，就不明确为什么系统会自然选择这么做。

相反，“工具性子目标”更值得关注，例如自我保存、获取计算资源和金融资源，因为这些可能有助于系统实现原始目标。

控制与风险

如果 AGI 比人类具有更广泛能力，就会产生失控风险。Alan Turing 曾警告，一旦机器超过人类智能，人类应预期机器可能取得控制。

风险的重要来源是目标不对齐：系统目标与人类对未来的偏好不一致。原因可能是人类错误指定或不充分指定目标，即“迈达斯国王问题”，也可能是系统误解人类偏好 [3]。

一些观点把 AGI 视为危险阈值，例如 Gladstone Report [4] 将 AGI 描述为失控灾难风险的主要驱动力。另一些研究者使用“变革性 AI”概念 [5]，强调足以大规模改变文明的 AI 未必需要完整 AGI。

AGI 是否是合适目标

AGI 没有统一正式定义，也不存在公认的达成测试。有人认为智能更适合描述为连续、多维空间：机器可能在某些维度远超人类，同时在另一些维度落后。

此外，“人类水平”究竟以哪些人作为基准、这些人获得多少训练，也经常没有明确规定。

因此，一些研究者认为 AGI 不是良好研究目标 [6]。还有观点指出，“达到或超过人类认知能力”并不必然产生真正增强人类的工具，其短期商业价值可能主要来自替代人类工作。很多预期收益也可能通过专门系统实现，例如 AlphaFold2。

尽管存在争论，AGI 已成为许多前沿 AI 公司的核心目标。

当前状态与趋势

过去十年，AI 在一个又一个任务上达到人类甚至超人水平，这一趋势反映在 AI Index 报告 [8] 和 2025 International AI Safety Report [9] 中。

发展路线包括：

语音识别；
图像识别；
机器翻译；
高质量图像与声音生成；
2022 年后迅速增强的语言能力；
2023 年发展的多模态能力；
2024 年显著增强的推理能力，包括 ARC-AGI。

近期进步与运行时“审议”机制相关。过去模型更像直接把输入映射为答案，接近快速、直觉式“系统 1”；新型测试时推理允许模型探索较长推理链、比较多个可能性，更接近审慎的“系统 2”。

这也显著增加运行时计算，因此部署能耗和成本可能大幅增长。

一些 AI 系统已经在高级知识和推理测试中进入人类前几个百分点，但同时仍会犯非常基础的错误。这表明基准高分如何解释仍是开放问题。

空间、几何、细粒度图像理解和长期规划仍然存在明显局限。尤其是长时间跨度规划，以及在现实物理环境中为人类或与人类共同规划可执行行动，目前仍很弱。

研究挑战

超越 Transformer 的架构

Transformer 存在固定上下文窗口、缺乏显式长期记忆、难以实时持续从环境学习，以及复杂推理效率不足等限制。

可能的方向包括：

根本性新架构；
Transformer 与图神经网络结合；
与强化学习智能体结合；
与符号推理系统结合。

长期规划与推理

当前系统对长时间跨度规划和层级推理能力有限，不擅长稳定地把复杂目标分解成正确子目标，也不能像经典形式 AI 一样保证推理步骤正确。

未来研究需要：

提高规划可靠性；
主动评估每一步风险和成本；
判断每一步是否符合人类价值及任务规范。

超出训练分布的泛化

LLM 对真正新颖、超出训练分布的问题能否可靠泛化仍不明确。它们容易受对抗输入影响，也常不能灵活跨领域迁移知识。

持续学习

LLM 通常依赖预训练和微调，而不像人类持续从经验中学习。需要建立运行中长期保留并更新知识的机制，以及新的自监督、自我导向和探索式学习方法。

记忆与回忆

AGI 可能需要结构化、持久、情境敏感的记忆机制。Transformer 本身不具备能长期积累经历的高效结构化记忆，目前常依赖外部工具补充。

因果与反事实推理

AI 擅长发现相关性，但因果推断和反事实推理仍较弱。因果理解对于稳健决策和科学发现至关重要。

具身与现实世界互动

人类智能通过丰富感觉—运动互动发展。现有多模态模型仍缺乏对物理现实的深层理解。机器人和虚拟世界中的互动式训练是重要研究方向。

对齐、可解释性与安全

随着系统能力增强，需要进一步研究：

价值对齐；
约束与政策规范；
黑箱系统解释；
高能力系统安全运行；
确保系统遵循人类意图。

理解并引导社会影响

AI 社区需要持续与政策制定者和公民社会合作，主动监测并塑造 AI 对社会的影响，而不能只依赖市场力量。

社区意见

调查显示，围绕 AGI 发展和治理存在明显分歧：

77% 优先支持“设计具有可接受风险—收益特征的 AI 系统”，而非直接追求 AGI；后者占 23%。
82% 认为，如果 AGI 由私人实体开发，这类系统应该由公共部门拥有。
70% 反对“在完整安全和控制机制建立前停止 AGI 研究”。
76% 认为，仅通过扩大当前 AI 方法实现 AGI“不太可能”或“非常不可能”。

总体而言，回答体现出谨慎但继续推进的立场：强调安全、伦理治理、收益共享和负责任发展，而不是单纯竞速。

参考文献

原报告列出 14 项参考文献，包括 Nilsson、AAAI 长期 AI 未来专题小组、Gladstone AI、Togelius、AI Index、International AI Safety Report、多模态评估、自改进 Transformer 和 AI 政策研究等。完整条目见原报告第 62 页。