作为常规技术的人工智能

我们将人工智能（AI）视为一种常规技术（normal technology）。将 AI 视为常规技术并非低估其影响——在我们的构想中，即使是像电力和互联网这样具有变革性的通用技术也是“常规”的。但这与关于 AI 未来的乌托邦式和反乌托邦式愿景形成了鲜明对比，后者往往倾向于将 AI 视为一种类似于独立物种的、高度自主且具有潜在超智能的实体。

“AI 是常规技术”这一说法包含三个层面：它是对当前 AI 的描述，是对可预见的 AI 未来的预测，也是关于我们应该如何对待它的规范性主张。我们将 AI 视为一种我们能够且应当保持控制的工具，并认为实现这一目标并不需要激进的政策干预或技术突破。我们认为，将 AI 视为类人智能既不符合现状，也无助于理解其社会影响，而且在我们对未来的展望中，这种情况也不太可能发生。

常规技术的框架关注的是技术与社会之间的关系。它拒绝技术决定论，尤其是拒绝将 AI 本身视为决定其未来的主体的观点。它受过去技术革命经验的启发，例如技术采用和扩散的缓慢且不确定的本质。它还强调了 AI 在社会影响方面的过去与未来轨迹之间的连续性，以及机构在塑造这一轨迹中的作用。

在第一部分中，我们解释了为什么我们认为变革性的经济和社会影响将是缓慢的（以十年为单位的时间尺度），并对 AI 方法、AI 应用和 AI 采用进行了关键区分，认为这三者的发生处于不同的时间尺度。

在第二部分中，我们讨论了在拥有先进 AI（但不是我们认为在通常构想中逻辑不通的“超智能”AI）的世界中，人类与 AI 之间潜在的分工。在这个世界里，控制权主要掌握在个人和组织手中；事实上，人们在工作中从事的 AI 控制比例会越来越高。

在第三部分中，我们探讨了将 AI 视为常规技术对 AI 风险的意义。我们分析了事故、军备竞赛、滥用和对齐失当，并论证了与将 AI 视为类人智能相比，将 AI 视为常规技术会导致关于缓解措施的根本不同的结论。

当然，我们无法确定我们的预测是否准确，但我们的目标是描述我们认为的中位数结果（median outcome）。我们没有尝试量化概率，但我们试图做出能够告诉我们 AI 是否表现得像常规技术的预测。

在第四部分中，我们讨论了对 AI 政策的影响。我们主张将减少不确定性作为首要政策目标，并将韧性作为应对灾难性风险的总体方法。我们认为，如果 AI 最终被证明是常规技术，那么以控制超智能 AI 的难度为前提的激进干预实际上会让事情变得更糟——其负面影响可能会反映出以往在资本主义社会中部署的技术所带来的负面影响，例如不平等。

我们在第二部分描述的世界是一个 AI 比今天先进得多的世界。我们并不是说 AI 的进步——或人类的进步——会在那时停止。那之后会发生什么？我们不知道。考虑这样一个类比：在第一次工业革命之初，思考工业世界会是什么样子以及如何为此做准备是有用的，但试图预测电力或计算机则是徒劳的。我们在这里的尝试也是类似的。由于我们拒绝“快速起飞”的情景，我们认为没有必要或没有用处去设想比我们尝试过的更遥远的未来。如果以及当我们在第二部分描述的情景实现时，我们将能够更好地预测并为接下来的事情做准备。

读者注。 这篇文章有着不同寻常的目标，即阐述一种世界观，而非论证一个命题。关于 AI 超智能的文献已经非常丰富。我们没有尝试对潜在的反驳意见进行逐一回应，因为那会使论文篇幅增加数倍。本文仅是对我们观点的初步阐述；我们计划在后续的各种文章中对其进行详细说明。

第一部分：进步的速度

图 1。与其他通用技术一样，AI 的影响并非在方法和能力提高时体现，而是在这些改进转化为应用并扩散到经济的生产部门时体现。每个阶段都有速度限制。

AI 的进步是渐进的，允许个人和机构随着 AI 能力和采用率的提高而适应，还是会出现导致大规模破坏甚至技术奇点的跳跃？我们处理这个问题的方法是将影响重大的任务与影响较小的任务分开分析，并从分析 AI 的采用和扩散速度开始，然后再回到创新和发明的速度。

我们使用发明（invention）指代新 AI 方法的开发——例如大语言模型——这些方法提高了 AI 执行各种任务的能力。创新（innovation）指代使用 AI 开发消费者和企业可以使用的产品和应用。采用（adoption）指代个人（或团队、公司）决定使用某项技术，而扩散（diffusion）指代采用水平提高的更广泛的社会过程。对于具有足够颠覆性的技术，扩散可能需要公司和组织结构的改变，以及社会规范和法律的改变。

AI 在安全关键领域的扩散是缓慢的

在《反对预测性优化》（Against Predictive Optimization）一文中，我们整理了一份包含约 50 种预测性优化应用的综合清单，即利用机器学习（ML）通过预测个人的未来行为或结果来对其做出决策。这些应用中的大多数，如犯罪风险预测、保险风险预测或儿童虐待预测，都被用于做出对人产生重要后果的决策。

虽然这些应用已经激增，但存在一个关键的细微差别：在大多数情况下，使用的是几十年前的统计技术——简单、可解释的模型（主要是回归）和相对较少的手工构建特征。更复杂的机器学习方法（如随机森林）很少使用，而现代方法（如 Transformer）则无处寻觅。

换句话说，在这一广泛的领域中，AI 的扩散落后于创新数十年。一个主要原因是安全性——当模型更复杂且更难理解时，在测试和验证过程中很难预见所有可能的部署条件。一个很好的例子是 Epic 的败血症预测工具，尽管在内部验证时似乎具有很高的准确性，但在医院中的表现要差得多，漏掉了三分之二的败血症病例，并让医生疲于应对虚假警报。

Epic 的败血症预测工具之所以失败，是因为在使用具有不受限特征集的复杂模型时，某些错误很难被发现。特别是，用于训练模型的一个特征是医生是否已经开出了抗生素——用于治疗败血症。换句话说，在测试和验证期间，模型使用的是来自未来的特征，依赖于一个在因果上取决于结果的变量。当然，这个特征在部署期间是不可用的。可解释性和审计方法无疑会改进，从而使我们能够更好地发现这些问题，但我们目前还没有达到那个水平。

在生成式 AI 的案例中，即使是事后看来极其明显的失败在测试期间也没有被发现。一个例子是早期的 Bing 聊天机器人“Sydney”，它在长时间对话中会表现失常；开发人员显然没有预料到对话会持续超过几轮。同样，Gemini 图像生成器似乎从未在历史人物上进行过测试。幸运的是，这些并不是影响重大的应用。

更多的实证工作将有助于理解各种应用中的创新-扩散滞后及其原因。但就目前而言，我们在之前的工作中分析的证据与以下观点一致：在影响重大的任务中，已经存在极强的与安全相关的速度限制。这些限制通常通过监管来实施，例如 FDA 对医疗器械的监管，以及更新的立法（如《欧盟 AI 法案》），该法案对高风险 AI 提出了严格要求。事实上，存在（可靠的）担忧认为，现有的对高风险 AI 的监管过于繁琐，可能会导致“官僚主义失控”。因此，我们预测，在影响重大的任务中，缓慢扩散将继续成为常态。

无论如何，当 AI 可以以影响重大的方式使用的新领域出现时，我们可以而且必须对其进行监管。一个很好的例子是 2010 年的“闪崩”（Flash Crash），据信自动高频交易在其中发挥了作用。这导致了对交易的新限制，例如熔断机制。

扩散受限于人类、组织和机构变革的速度

即使在非安全关键领域，AI 的采用也比流行说法所暗示的要慢。例如，一项研究因发现 2024 年 8 月有 40% 的美国成年人使用生成式 AI 而登上头条。但是，由于大多数人使用频率较低，这仅转化为 0.5%-3.5% 的工作时长（以及 0.125-0.875 个百分点的劳动生产率增长）。

目前甚至还不清楚扩散速度是否比过去更快。上述研究报告称，生成式 AI 在美国的采用速度快于个人电脑（PC），40% 的美国成年人在首款大众市场产品发布后的两年内采用了生成式 AI，而 PC 在三年内的采用率为 20%。但这种比较没有考虑到采用强度（使用小时数）的差异，也没有考虑到购买 PC 的高成本与访问生成式 AI 的低成本之间的差异。根据我们衡量采用率的方式，生成式 AI 的采用很可能比 PC 的采用慢得多。

关于技术采用速度不一定在增加的说法可能看起来令人惊讶（甚至显然是错误的），因为数字技术可以同时触达数十亿台设备。但重要的是要记住，采用关乎软件的使用，而非可用性。即使一个新的基于 AI 的产品立即在网上发布供任何人免费使用，人们也需要时间来改变他们的工作流程和习惯，以利用新产品的优势并学会规避风险。

因此，扩散速度本质上不仅受限于个人，还受限于组织和机构适应技术的能力。这也是我们在过去的通用技术中看到的趋势：扩散发生在几十年而不是几年内。

例如，保罗·A·大卫（Paul A. David）对电气化的分析表明，生产率收益花了数十年才完全体现。在爱迪生建立第一个中央发电站后的近 40 年里，电动发电机“无处不在，唯独不在生产率统计数据中”。这不仅仅是技术惯性；工厂主发现电气化并没有带来实质性的效率提升。

最终使收益得以实现的是根据生产线逻辑重新设计整个工厂布局。除了工厂架构的改变外，扩散还需要工作场所组织和过程控制的改变，而这些只能通过跨行业的实验来开发。由于这些变化，工人们拥有了更多的自主权和灵活性，这也需要不同的招聘和培训实践。

外部世界为 AI 创新设定了速度限制

诚然，AI 的技术进步非常迅速，但当我们区分 AI 方法与应用时，情况就变得不那么明朗了。

我们将 AI 方法的进步构想为阶梯式的通用性。这个阶梯上的每一步都建立在下面的步骤之上，反映了向更通用的计算能力的迈进。也就是说，它减少了让计算机执行新任务所需的程序员投入，并增加了在给定程序员（或用户）投入量下可以执行的任务集；见图 2。例如，机器学习通过消除程序员为解决每个新任务而设计逻辑的需要，增加了通用性，只需收集训练示例即可。

人们很容易得出结论：随着我们构建更多的阶梯，开发特定应用所需的投入将不断减少，直到我们达到通用人工智能（AGI）——通常被构想为一种开箱即用、无所不能的 AI 系统，从而完全消除了开发应用的需要。

在某些领域，我们确实看到了这种应用开发投入减少的趋势。在自然语言处理领域，大语言模型使得开发语言翻译应用变得相对简单。或者考虑游戏：AlphaZero 只需要对游戏的简要描述和足够的计算能力，就可以通过自我对弈学会比任何人类都更好地玩国际象棋等游戏——这与过去开发游戏程序的方式大相径庭。

图 2：计算通用性阶梯。对于某些任务，更高的阶梯层级需要更少的程序员投入来让计算机执行新任务，并且在给定的程序员（或用户）投入量下可以执行更多任务。

然而，在无法轻易模拟且错误代价高昂的影响重大的现实应用中，情况并非如此。考虑自动驾驶汽车：在许多方面，其发展轨迹类似于 AlphaZero 的自我对弈——技术的改进使它们能够在更真实的条件下驾驶，从而能够收集更好和/或更真实的数据，这反过来又导致了技术的改进，完成了反馈闭环。但这个过程花了二十多年，而不是像 AlphaZero 那样只需几个小时，因为安全考虑限制了该闭环的每次迭代与前一次相比可以扩展的程度。

这种“能力-可靠性差距”一再出现。它一直是构建能够自动化现实任务的有用 AI “智能体”（agents）的主要障碍。明确地说，设想中使用智能体的许多任务（如预订旅行或提供客户服务）的影响远不如驾驶那么重大，但其代价仍然高到让智能体从现实经验中学习变得并不简单。

非安全关键应用中也存在障碍。通常，组织中的许多知识是隐性的，没有被记录下来，更不用说以可以被动学习的形式存在了。这意味着这些发展反馈闭环必须在每个部门发生，对于更复杂的任务，甚至可能需要在不同的组织中分别发生，从而限制了快速并行学习的机会。并行学习可能受限的其他原因是隐私问题：组织和个人可能不愿与 AI 公司共享敏感数据，监管可能会限制在医疗保健等背景下可以与第三方共享的数据类型。

AI 领域“惨痛的教训”（bitter lesson）是，利用计算能力增长的通用方法最终会大幅超越利用人类领域知识的方法。这是关于方法的一个有价值的观察，但它经常被误解为涵盖了应用开发。在基于 AI 的产品开发背景下，这个惨痛的教训从未接近过事实。考虑社交媒体上的推荐系统：它们由（日益通用的）机器学习模型驱动，但这并没有消除对业务逻辑、前端和其他组件进行手动编码的需要，这些组件加在一起可能包含大约一百万行代码。

当我们不仅需要 AI 从现有的人类知识中学习时，还会出现进一步的限制。我们最宝贵的一些知识类型是科学和社会科学知识，它们通过技术和大规模社会组织（如政府）推动了文明的进步。AI 要突破这些知识的边界需要什么？它可能需要与人或组织进行互动，甚至进行实验，范围从药物测试到经济政策。在这里，由于实验的社会成本，知识获取的速度存在硬性限制。社会可能不会（也不应该）允许为了 AI 开发而快速扩大实验规模。

基准测试无法衡量现实世界的效用

方法与应用的区分对于我们如何衡量和预测 AI 进步具有重要意义。AI 基准测试对于衡量方法的进步很有用；不幸的是，它们经常被误解为衡量应用的进步，这种混淆一直是许多关于迫在眉睫的经济转型的炒作的驱动力。

例如，虽然据报道 GPT-4 的得分在律师资格考试考生中排名前 10%，但这对于 AI 从事法律实务的能力几乎没有任何说明意义。律师资格考试过度强调学科知识，而忽视了在标准化的、计算机管理的格式中极难衡量的现实世界技能。换句话说，它强调的恰恰是语言模型所擅长的——检索和应用记忆的信息。

更广泛地说，会导致法律行业发生最重大变化的任务也是最难评估的任务。对于像按法律领域对法律请求进行分类这样的任务，评估很简单，因为有明确的正确答案。但对于涉及创意和判断的任务，如准备法律文件，没有唯一的正确答案，而且理性的人可能在策略上存在分歧。如果这些任务被自动化，恰恰是那些会对该行业产生最深远影响的任务。

这一观察绝不仅限于法律领域。另一个例子是 AI 表现出色的独立编程问题与现实世界软件工程之间的差距，在后者中 AI 的影响难以衡量，但似乎并不显著。即使是超越了玩具问题的备受推崇的编程基准测试，为了量化和使用公开数据进行自动评估，也必然会忽略现实世界软件工程的许多维度。

这种模式反复出现：一项任务越容易通过基准测试来衡量，它就越不可能代表定义专业实践的那种复杂的、情境化的工作。通过严重依赖能力基准测试来了解 AI 的进步，AI 社区一贯高估了该技术的现实影响。

这是一个“结构效度”（construct validity）的问题，它指的是测试是否真正衡量了它旨在衡量的东西。衡量潜在应用现实效用的唯一可靠方法是实际构建该应用，然后在现实场景中与专业人士一起进行测试（根据预期用途，要么替代要么增强他们的劳动）。这类“提升”（uplift）研究通常确实表明，许多职业的专业人士都能从现有的 AI 系统中受益，但这种收益通常是适度的，更多的是关于增强而非替代，这与人们根据考试等静态基准测试得出的结论完全不同（少数职业，如文案和翻译，已经出现了大量的失业）。

总之，虽然基准测试对于跟踪 AI 方法的进步很有价值，但我们应该关注其他类型的指标来跟踪 AI 的影响（图 1）。在衡量采用率时，我们必须考虑 AI 使用的强度。应用的类型也很重要：增强还是替代，以及高后果还是低后果。

确保结构效度的困难不仅困扰着基准测试，也困扰着预测，这是人们尝试评估（未来）AI 影响的另一种主要方式。为了确保有效的预测，避免模糊的结果极其重要。预测界实现这一目标的方法是根据相对狭窄的技能（如考试表现）来定义里程碑。例如，Metaculus 上关于“人机智能对等”的问题是根据数学、物理和计算机科学考试问题的表现来定义的。基于这个定义，预测者预测到 2040 年实现“人机智能对等”的可能性为 95%，这并不奇怪。

不幸的是，这个定义被稀释到对于理解 AI 的影响没有太大意义。正如我们上面在法律和其他专业基准测试中看到的那样，AI 在考试中的表现结构效度如此之低，以至于它甚至无法让我们预测 AI 是否会取代专业工作者。

经济影响可能是渐进的

关于 AI 发展为何可能产生突然、剧烈的经济影响的一个论点是，通用性的提高可能导致经济中的大量任务变得可自动化。这与通用人工智能（AGI）的一个定义有关——一个能够执行所有具有经济价值的任务的统一系统。

根据常规技术的观点，这种突然的经济影响是不切实际的。在前面的章节中，我们讨论了一个原因：AI 方法的突然改进当然是可能的，但并不能直接转化为经济影响，这需要创新（在应用开发的意义上）和扩散。

创新和扩散发生在一个反馈闭环中。在安全关键的应用中，这个反馈闭环总是缓慢的，但即使在安全之外，也有很多理由说明它很可能是缓慢的。对于电力、计算机和互联网等过去的通用技术，各自的反馈闭环持续了数十年，我们也应该预料到 AI 也会发生同样的情况。

另一个支持渐进式经济影响的论点是：一旦我们将某件事自动化，与人类劳动力成本相比，其生产成本和价值往往会随着时间的推移而大幅下降。随着自动化程度的提高，人类会适应，并将注意力集中在尚未自动化的任务上，也许是今天还不存在的任务（在第二部分中，我们将描述这些任务可能的样子）。

这意味着，随着自动化程度的提高重新定义了哪些任务具有经济价值，AGI 的目标将不断向后推移。即使人类今天做的每一项任务有一天都可能被自动化，这并不意味着人类劳动力将是多余的。

所有这些都表明，在特定的时间点自动化大部分经济的可能性很小。这也意味着强大 AI 的影响将在不同行业、不同时间尺度上显现。

AI 方法进步的速度限制

我们关于 AI 影响缓慢的论点是基于创新-扩散反馈闭环的，即使 AI 方法的进步可以任意加速，这一论点也适用。我们认为收益和风险主要源于 AI 的部署而非开发；因此，AI 方法的进步速度与影响问题没有直接关系。尽管如此，讨论同样适用于方法开发的速度限制也是有价值的。

AI 研究的产出一直在呈指数级增长，arXiv 上 AI/ML 论文的发表率翻倍时间不到两年。但目前尚不清楚这种产量的增加如何转化为进步。衡量进步的一个标准是核心思想的更替率。不幸的是，在整个历史中，AI 领域表现出高度的从众心理，追随流行思想，而对过时思想的探索不足（事后看来）。一个显著的例子是神经网络研究被边缘化了几十年。

当前的时代有所不同吗？虽然思想以越来越快的速度增量积累，但它们是否在更替既有的思想？尽管 Transformer 架构存在众所周知的局限性，但在过去十年的大部分时间里，它一直是主导范式。通过分析 241 个学科的超过 10 亿次引用，Johan S.G. Chu 和 James A. Evans 表明，在论文数量较多的领域，新思想更难而不是更容易取得突破。这导致了“经典思想的僵化”。也许这种描述也适用于 AI 方法研究的现状。

许多其他速度限制也是可能的。从历史上看，深度神经网络技术在一定程度上由于硬件（特别是图形处理器）的不足而受到阻碍。计算和成本限制继续与新范式相关，包括推理时间扩展。新的减速因素可能会出现：最近的迹象表明，行业内正逐渐背离开放知识共享的文化。

AI 进行的 AI 研究是否能提供缓解还有待观察。也许方法上的递归自我改进是可能的，从而导致方法上的无限加速。但请注意，AI 开发已经严重依赖 AI。我们更有可能看到自动化在 AI 开发中的作用逐渐增加，而不是实现递归自我改进的单一、不连续的时刻。

早些时候，我们论证了基准测试给出了关于 AI 应用效用的误导性图景。但可以说，它们也导致了对方法进步速度的过度乐观。一个原因是，很难设计出超越当前进步视野的、有意义的基准测试。图灵测试在几十年里一直是 AI 的北极星，因为人们假设任何通过测试的系统在重要方面都会像人类一样，并且我们将能够使用这样的系统来自动化各种复杂的任务。现在，大语言模型可以说已经通过了测试，但只是勉强达到了测试背后的预期，它的重要性已经减弱。

用登山来做类比很贴切。每当我们解决一个基准测试（达到我们认为的顶峰）时，我们都会发现基准测试的局限性（意识到我们处在一个“假峰”上），并构建一个新的基准测试（将目光投向我们现在认为的顶峰）。这导致了“移动球门柱”的指责，但考虑到基准测试的内在挑战，这正是我们应该预料到的。

AI 先驱们认为 AI 的两大挑战（即我们现在所说的 AGI）是（我们现在所说的）硬件和软件。在制造出可编程机器后，人们明显感觉到 AGI 已经近在咫尺。年达特茅斯会议的组织者希望通过“10 个人、2 个月”的努力在实现这一目标方面取得重大进展。今天，我们已经在通用性阶梯上又爬了许多级。我们经常听到，构建 AGI 所需的一切就是规模化，或者是通用 AI 智能体，或者是样本高效学习。

但记住，看起来只有一步之遥的事情可能并非如此。例如，可能不存在一种能够在所有背景下实现样本高效学习的单一突破性算法。事实上，大语言模型中的上下文学习已经是“样本高效”的，但仅适用于有限的任务集。

第二部分：先进 AI 的世界可能是怎样的

我们认为，依赖“智能”和“超智能”这些模糊的概念，模糊了我们清晰推理先进 AI 世界的能力。通过将智能分解为两个潜在概念：能力（capability）和力量（power），我们反驳了在拥有“超智能”AI 的世界中人类劳动力将变得多余的观点，并提出了另一种愿景。这也为我们在第三部分讨论风险奠定了基础。

人类的能力不受生物学限制

AI 能否超越人类智能？如果能，能超越多少？根据一个流行的论点，其程度将令人难以想象。这通常通过在智能光谱上比较不同物种来描绘。

图 3。通过递归自我改进的 AI 导致的智能爆炸是一个常见的担忧，通常由类似这样的图表描绘。图表重绘。

然而，这种图景在概念和逻辑上都存在缺陷。在概念层面上，智能——尤其是作为不同物种之间的比较——并没有明确的定义，更不用说在单一维度上进行衡量了。

更重要的是，智能并不是分析 AI 影响的关键属性。相反，关键在于力量——改变环境的能力。为了清晰地分析技术（尤其是日益通用的计算技术）的影响，我们必须研究技术如何影响了人类的力量。当我们从这个角度看问题时，一个完全不同的图景就出现了。

图 4. 分析技术对人类权力的影响。我们之所以强大，并非因为我们的智力，而是因为我们利用技术增强了自身的能力。

这种视角的转变阐明了一个事实：人类一直以来都在利用技术来增强控制环境的能力。祖先人类与现代人类之间的生物学或生理学差异微乎其微；相反，相关的差异在于知识与理解的进步、工具、技术，以及现在的 AI。从某种意义上说，拥有改变地球及其气候能力的现代人类，与前技术时代的人类相比，就是“超智能”生物。遗憾的是，许多分析 AI 超智能风险的基础文献在“智能”一词的使用上都缺乏精确性。

图 5. 关于从 AI 能力提升到失控的因果链的两种观点。

一旦我们停止使用“智能”和“超智能”这些术语，事情就会变得清晰得多（图 5）。令人担忧的是，如果 AI 能力无限持续增长（无论它们是否类人或超越人类都无关紧要），它们可能会导致 AI 系统拥有越来越大的权力，进而导致失控。如果我们接受能力可能会无限增长（我们确实接受这一点），那么我们防止失控的选择就是干预这两个因果步骤之一。

超智能观点对图 5 中的第一个箭头持悲观态度——即防止能力极强的 AI 系统获得足以构成灾难性风险的重大权力——而是专注于对齐技术，试图防止拥有极权力的 AI 系统做出违背人类利益的行为。我们的观点恰恰相反，我们将在本文的其余部分详细阐述。

游戏为超智能的可能性提供了误导性的直觉

淡化智能不仅是一种修辞手段：我们认为，在任何有意义的“智能”定义下，AI 都不会比在 AI 辅助下行动的人类更智能。人类智能的特殊之处在于我们使用工具的能力，以及将其他智能纳入自身体系的能力，它无法被连贯地置于一个智能光谱中。

人类的能力确实存在一些重要的局限性，尤其是速度。这就是为什么机器在国际象棋等领域表现远超人类的原因，而且在“人+AI”的团队中，人类除了简单地听从 AI 之外，几乎无法做得更好。但在大多数领域，速度限制是无关紧要的，因为不需要高速的顺序计算或快速的反应时间。

在少数需要超人速度的现实任务中（如核反应堆控制），我们擅长构建范围明确的自动化工具来处理高速部分，同时由人类保持对整个系统的控制。

基于这种对人类能力的看法，我们提出了一个预测。我们认为，在现实世界的认知任务中，很少有任务的人类局限性如此显著，以至于 AI 能够彻底超越人类表现（就像 AI 在国际象棋中所做的那样）。在许多其他领域，包括一些与 AI 表现的突出希望和恐惧相关的领域，我们认为存在很高的“不可约误差”（irreducible error）——即由于现象固有的随机性而导致的不可避免的误差——而人类的表现基本上已接近这一极限。

具体而言，我们提出了两个这样的领域：预测和说服。我们预测，在预测地缘政治事件（例如选举）方面，AI 将无法显著超越经过训练的人类（特别是人类团队，尤其是辅以简单自动化工具的人类团队）。对于说服人们做出违背自身利益的行为这一任务，我们也做出了同样的预测。

说服中的“自身利益”维度至关重要，但往往被低估。作为一个常见模式的说明性例子，请参考研究“评估前沿模型的危险能力”，该研究评估了语言模型说服人的能力。他们的一些说服测试对被说服的对象来说是无成本的；受试者只是被询问在与 AI 互动结束时是否相信某个主张。其他测试的成本很小，例如放弃 20 英镑的慈善捐款奖金（当然，捐款给慈善机构通常是人们自愿做的事情）。因此，这些测试并不一定能告诉我们 AI 说服人们执行某些危险任务的能力。值得赞扬的是，作者承认了这种生态效度的缺失，并强调他们的研究不是“社会科学实验”，而仅仅是为了评估模型能力。但这样一来，就不清楚这种脱离语境的能力评估是否具有任何安全性影响，然而它们通常被误解为具有此类影响。

为了使我们的预测精确，需要保持谨慎——目前尚不清楚应该为众所周知但微小的人类局限性留出多少余地，例如缺乏校准（在预测的情况下）或耐心有限（在说服的情况下）。

控制有多种形式

如果我们假定存在超智能，控制问题就会让人联想到构建一个“银河大脑”然后将其关在盒子里的隐喻，这是一个可怕的前景。但是，如果我们关于 AI 系统不会比 AI 辅助下的人类更有能力的观点是正确的，那么控制问题就会变得容易处理得多，特别是如果“超人说服力”被证明是一个毫无根据的担忧。

关于 AI 控制的讨论往往过度集中在少数狭隘的方法上，包括模型对齐和让“人在回路”（human-in-the-loop）。我们可以粗略地将这些视为两个极端：在系统运行期间将安全决策完全委托给 AI，以及由人类对每个决策进行二次猜测。这些方法有其作用，但非常有限。在第三部分中，我们解释了我们对模型对齐的怀疑。我们所说的“人在回路”控制，是指 AI 的每一个决策或行动都需要经过人类审查和批准的系统。在大多数场景中，这种方法会大大削弱自动化的好处，因此要么演变成人类充当“橡皮图章”，要么被安全性较低的解决方案所淘汰。我们强调，“人在回路”控制并不等同于人类对 AI 的监督；它只是其中一种特定的监督模式，而且是一种极端的模式。

幸运的是，在这两个极端之间还有许多其他形式的控制，例如审计和监控。审计允许在部署前和/或定期评估 AI 系统履行其既定目标的程度，使我们能够在灾难性故障发生前预见到它们。监控允许在系统属性偏离预期行为时进行实时监督，从而在真正需要时进行人工干预。

其他想法来自系统安全，这是一门专注于通过系统分析和设计来防止复杂系统中发生事故的工程学科。例子包括故障安全机制（fail-safes），它确保系统在发生故障时默认进入安全状态，例如预定义的规则或硬编码的动作；以及断路器（circuit breakers），当超过预定义的安全阈值时自动停止运行。其他技术包括关键组件的冗余以及对系统动作安全属性的验证。

其他计算领域，包括网络安全、形式化验证和人机交互，也是控制技术的丰富来源，这些技术已成功应用于传统软件系统，且同样适用于 AI。在网络安全中，“最小权限”原则确保参与者只能访问其任务所需的最低限度资源。访问控制防止处理敏感数据和系统的人员访问其工作不需要的机密信息和工具。我们可以在关键设置中为 AI 系统设计类似的保护措施。形式化验证方法确保安全关键代码按照其规范运行；它现在正被用于验证 AI 生成代码的正确性。从人机交互中，我们可以借鉴一些想法，例如设计可逆的状态改变动作，使人类即使在高度自动化的系统中也能保持有意义的控制。

除了从其他领域借鉴并适配用于 AI 控制的现有想法外，技术性 AI 安全研究还产生了许多新想法。例子包括使用语言模型作为自动评判员来评估拟议行动的安全性；开发能够根据不确定性或风险水平学习何时适当地将决策升级给人类操作员的系统；设计代理系统使其活动对人类可见且易于理解；以及创建分层控制结构，由更简单、更可靠的 AI 系统监督能力更强但可能不可靠的系统。

技术性 AI 安全研究有时会根据一个模糊且不切实际的目标来评判，即保证未来的“超智能”AI 将“与人类价值观对齐”。从这个角度来看，它往往被视为一个未解决的问题。但从让 AI 系统的开发者、部署者和运营商更容易降低事故可能性的角度来看，技术性 AI 安全研究已经产生了大量的想法。我们预测，随着先进 AI 的开发和采用，寻找人类控制新模式的创新将会日益增多。

随着更多的体力任务和认知任务变得可以自动化，我们预测人类工作和任务中与 AI 控制相关的比例将会增加。如果这看起来很激进，请注意，这种对工作概念近乎彻底的重新定义以前就发生过。在工业革命之前，大多数工作涉及体力劳动。随着时间的推移，越来越多的体力任务被自动化，这一趋势仍在继续。在这个过程中，人们发明了许多不同的操作、控制和监控物理机器的方法，今天人类在工厂里所做的是“控制”（监控自动化装配线、编写机器人系统程序、管理质量控制检查点以及协调对设备故障的响应）以及一些需要机器尚不具备的认知能力或灵巧度的任务的结合。

Karen Levy 描述了这种转变在 AI 和卡车司机案例中是如何展开的：

卡车司机的日常工作远不止驾驶卡车。卡车司机监控他们的货物，保持冷藏车内的食物处于合适温度，并将货物牢牢固定在平板车上。他们每天进行两次规定的安全检查。他们负责保护贵重物品。他们维护卡车并进行修理——有些是常规的，有些则不然。当卡车司机到达终点站或交付点时，他们不仅仅是放下东西就走：有些人装卸货物；他们与客户交谈；他们处理文书工作；他们可能会花几个小时进行“场内移动”（等待可用的交付位并移动到那里，就像飞机在繁忙的机场所做的那样）。其中一些任务能否被智能系统消除？当然，有些可以而且将会被消除——但这些工作组成部分比高速公路驾驶更难自动化，而且实现的时间会晚得多。

除了 AI 控制之外，任务规范（task specification）可能会成为人类工作内容的更大组成部分（取决于我们对控制的定义有多广，规范可以被视为控制的一部分）。任何尝试过外包软件或产品开发的人都知道，明确地指定需求最终会成为整体工作中令人惊讶的重要部分。因此，人类劳动——规范和监督——将在执行不同任务的 AI 系统之间的边界上运作。消除其中一些效率瓶颈并让 AI 系统自主“端到端”地完成更大的任务将是一个始终存在的诱惑，但这会增加安全风险，因为它会降低易理解性和控制力。这些风险将作为一种自然制约，防止过度让渡控制权。

我们进一步预测，这种转变将主要由市场力量驱动。控制不力的 AI 会因错误频出而在商业上行不通。但监管可以而且应该加强组织保持人类控制的能力和必要性。

第三部分：风险

我们考虑五类风险：事故、军备竞赛（导致事故）、滥用、失调（misalignment）以及非灾难性但系统性的风险。

我们已经在上文讨论了事故。我们的观点是，与其他技术一样，部署者和开发者应承担减轻 AI 系统事故的主要责任。他们能做得多好取决于他们的动机，以及缓解方法的进展。在许多情况下，市场力量将提供足够的动力，但安全监管应填补任何空白。至于缓解方法，我们回顾了 AI 控制研究是如何迅速推进的。

这种乐观的评估可能无法成立的理由有几个。首先，可能会出现军备竞赛，因为 AI 的竞争优势如此巨大，以至于它们成为了通常模式的例外。我们将在下文讨论这一点。

其次，部署 AI 的公司或实体可能规模巨大且权力极强，以至于如果它对事故缓解态度消极，即使知道它最终会倒闭也几乎无法带来安慰——它可能会带着文明一起毁灭。例如，一个控制着几乎所有消费设备的 AI 代理的错误行为可能会导致灾难性的广泛数据丢失。虽然这确实有可能，但这种权力的集中是一个比 AI 事故可能性更大的问题，这正是为什么我们的政策方法强调韧性和去中心化（第四部分）的原因。

最后，也许即使是一个相对不起眼的部署者的 AI 控制失败也可能导致灾难性风险——比如因为一个 AI 代理“逃逸”、自我复制等等。我们将其视为失调风险，并在下文讨论。

在第三部分的其余内容中，我们将通过“AI 作为普通技术”的视角来审视四种风险：军备竞赛、滥用、失调以及非灾难性但系统性的风险。

军备竞赛是一个老问题

AI 军备竞赛是指两个或多个竞争对手（公司、不同国家的政策制定者、军队）在监督和控制不足的情况下部署日益强大的 AI 的场景。危险在于，更安全的参与者会被更冒险的参与者淘汰。基于上述原因，我们不太担心 AI 方法开发中的军备竞赛，而更担心 AI 应用部署中的军备竞赛。

一个重要的注意事项：我们明确将军事 AI 排除在分析之外，因为它涉及机密能力和独特的动态，需要更深入的分析，这超出了本文的范围。

让我们先考虑公司。在安全性方面“逐底竞争”在各行业历史上极其普遍，并已被广泛研究；它也非常适合通过众所周知的监管干预来解决。例子包括美国服装行业的消防安全（20 世纪初）、美国肉类加工行业的食品安全和工人安全（19 世纪末和 20 世纪初）、美国汽船行业（19 世纪）、采矿业（19 世纪和 20 世纪初）以及航空业（20 世纪初）。

这些竞赛之所以发生，是因为公司能够将安全性差的成本外部化，导致市场失灵。消费者很难评估产品的安全性（工人也很难评估工作场所的安全性），因此在缺乏监管的情况下，市场失灵很常见。但一旦监管迫使公司将安全实践的成本内部化，这种竞赛就会消失。有许多潜在的监管策略，包括专注于过程（标准、审计和检查）、结果（责任制）以及纠正信息不对称（标签和认证）的策略。

AI 也不例外。自动驾驶汽车为安全与竞争成功之间的关系提供了一个很好的案例研究。考虑四家具有不同安全实践的主要公司。据报道，Waymo 拥有强大的安全文化，强调保守部署和自愿透明；它在安全结果方面也处于领先地位。 Cruise 在部署方面更为激进，安全结果也较差。特斯拉也一直很激进，经常被指责将客户当作测试员。最后，优步的自动驾驶部门曾以安全文化松懈而闻名。

市场成功与安全性密切相关。Cruise 定于 2025 年关闭，而优步则被迫卖掉了其自动驾驶部门。特斯拉正面临诉讼和监管审查，其安全态度将给公司带来多大代价仍有待观察。我们认为这些相关性具有因果关系。Cruise 的执照被吊销是其落后于 Waymo 的重要原因，安全性也是优步自动驾驶失败的一个因素。

监管发挥了虽小但有益的作用。联邦和州/地方各级的政策制定者在认识到该技术的潜力方面具有远见，并采取了轻触式和多中心（多个监管机构而非一个）的监管策略。总的来说，他们专注于监督、标准制定和证据收集，而吊销执照的持续威胁则起到了制约公司行为的作用。

同样，在航空业，AI 的集成一直遵循现有的安全标准，而不是为了激励 AI 采用而降低门槛——这主要是因为监管机构有能力惩罚未能遵守安全标准的单位。

简而言之，AI 军备竞赛可能会发生，但它们是特定于行业的，应该通过特定行业的法规来解决。

作为一个情况与自动驾驶汽车或航空业不同的领域案例，请考虑社交媒体。生成内容流的推荐算法就是一种 AI。它们被指责造成了许多社会弊病，社交媒体公司在这些算法系统的设计和部署中可以说对安全重视不足。此外还存在明显的军备竞赛动态，TikTok 给竞争对手带来了压力，迫使他们使内容流更加依赖推荐。可以说，市场力量不足以使收入与社会利益保持一致；更糟糕的是，监管机构行动迟缓。原因何在？

社交媒体与交通运输的一个显著区别在于，当伤害发生时，在交通运输案例中将其归因于产品故障相对直接，并且会立即对公司造成声誉损害。但在社交媒体案例中，归因极其困难，甚至研究结论仍然不确定且存在争议。这两个领域之间的第二个区别是，我们有一个多世纪的时间来建立围绕交通安全的标准和预期。在汽车出现的最初几十年里，安全并不被认为是制造商的责任。

AI 的范围非常广泛，以至于它未来的一些应用将更像交通运输，而另一些则更像社交媒体。这显示了在新兴的 AI 驱动行业和应用中主动收集证据和保持透明度的重要性。我们将在第四部分讨论这一点。它还显示了“前瞻性 AI 伦理”的重要性——在新兴技术生命周期的尽可能早期识别伦理问题，制定规范和标准，并利用这些来积极塑造技术的部署，最大限度地减少军备竞赛的可能性。

AI 安全监管可能更难的一个原因是，如果采用速度如此之快，以至于监管机构在为时已晚之前无法干预。到目前为止，即使在缺乏监管的情况下，我们也没有看到 AI 在关键任务中被迅速采用的例子，我们在第一部分介绍的反馈循环模型或许可以解释原因。新 AI 应用的采用率仍将是一个需要跟踪的关键指标。

与此同时，即使未来扩散速度没有加速，监管步伐缓慢也是一个问题。我们将在第四部分讨论这个“步调问题”。

现在让我们考虑国家间的竞争。政府是否会面临采取不干预 AI 安全政策的竞争压力？

同样，我们要传达的信息是，这并不是一个新问题。创新与监管之间的权衡是监管型国家反复面临的困境。到目前为止，我们看到了方法的显著差异，例如欧盟强调预防性方法（《通用数据保护条例》、《数字服务法》、《数字市场法》和《欧盟 AI 法案》），而美国则倾向于仅在出现已知伤害或市场失灵后才进行监管。

尽管美中军备竞赛的言论甚嚣尘上，但目前尚不清楚 AI 监管在两国是否有所放缓。在美国，仅 2024 年州议会就提出了 700 项与 AI 相关的法案，其中数十项已经通过。正如我们在前几部分指出的，大多数高风险行业都受到严格监管，无论是否使用 AI，这些监管都适用。那些声称 AI 监管是“西部荒野”的人往往过度强调了一种狭隘的、以模型为中心的监管类型。在我们看来，监管机构强调 AI 的使用而非开发是恰当的（我们下文讨论的透明度要求等例外情况除外）。

未能充分监管安全采用将主要在局部通过事故产生负面影响，这与安全文化松懈的公司可能将安全成本外部化的情况不同。因此，没有直接理由预期国家间会发生军备竞赛。请注意，由于本节关注的是事故而非滥用，针对外国的网络攻击不在讨论范围内。我们将在下一节讨论滥用。

与核技术的类比可以清楚地说明这一点。AI 经常被类比为核武器。但除非我们讨论的是军事 AI 的风险（我们同意这是一个令人担忧的领域，但在本文中不予考虑），否则这是一个错误的类比。关于部署（其他方面良性的）AI 应用导致事故的担忧，正确的类比是核能。核武器与核能之间的区别恰好说明了我们的观点——虽然存在核武器军备竞赛，但核能领域并没有类似的竞赛。事实上，由于安全影响是在局部感受到的，这项技术在许多国家引发了强大的抵制，普遍认为这严重阻碍了其潜力。

理论上，政策制定者在强权冲突的背景下可能会倾向于在局部承担安全成本，以确保其 AI 产业成为全球赢家。再次强调，关注采用而非开发，目前没有迹象表明这种情况正在发生。美中军备竞赛的言论一直强烈集中在模型开发（发明）上。我们还没有看到相应的草率采用 AI 的热潮。安全界应继续向政策制定者施压，确保这种情况不会改变。国际合作也必须发挥重要作用。

针对滥用的主要防御措施必须位于模型的下游

模型对齐通常被视为防御模型滥用的主要手段。目前它是通过训练后的干预措施实现的，例如人类和 AI 反馈的强化学习。遗憾的是，对齐模型以拒绝滥用尝试已被证明极其脆弱。我们认为这种局限性是固有的，且不太可能被修复；因此，针对滥用的主要防御措施必须存在于其他地方。

根本问题在于，一项能力是否有害取决于语境——而模型往往缺乏这种语境。

考虑一个攻击者利用 AI 通过网络钓鱼邮件瞄准某大公司的员工。攻击链可能涉及许多步骤：扫描社交媒体个人资料以获取个人信息，识别在网上公开过个人信息的个人，撰写个性化的钓鱼信息，以及利用获取的凭据攻击受损账户。

这些单个任务本身都不是恶意的。使系统产生危害的是这些能力的组合方式——这些信息仅存在于攻击者的编排代码中，而不存在于模型本身。被要求写一封有说服力的邮件的模型无法知道它是被用于营销还是网络钓鱼——因此模型层面的干预将是无效的。

这种模式反复出现：试图制造一个无法被滥用的 AI 模型，就像试图制造一台无法被用于坏事的计算机一样。模型层面的安全控制要么过于严格（阻碍有益用途），要么对那些能够将看似良性的能力重新用于有害目的的对手无效。

如果我们认为 AI 模型是一个我们可以将安全决策委托给它的类人系统，那么模型对齐似乎是一种自然的防御。但要使其良好运行，必须向模型提供大量关于用户和语境的信息——例如，拥有对用户个人信息的广泛访问权限将使判断用户意图变得更加可行。但是，当将 AI 视为普通技术时，这种架构会降低安全性，因为它违反了基本的网络安全原则（如最小权限），并引入了新的攻击风险（如个人数据外泄）。

我们并不反对模型对齐。它在减少语言模型的有害或偏见输出方面是有效的，并且在它们的商业部署中发挥了重要作用。对齐还可以对随意的威胁行为者产生阻力（friction）。

然而，鉴于模型层面的保护不足以防止滥用，防御必须集中在恶意行为者实际部署 AI 系统的下游攻击面上。这些防御措施通常看起来与现有的针对非 AI 威胁的保护措施相似，并针对 AI 赋能的攻击进行了适配和强化。

再次以网络钓鱼为例。最有效的防御措施不是限制邮件的撰写（这会损害合法用途），而是检测可疑模式的邮件扫描和过滤系统、针对恶意网站的浏览器级保护、防止未经授权访问的操作系统安全功能，以及针对用户的安全培训。

这些都不涉及对用于生成钓鱼邮件的 AI 采取行动——事实上，这些下游防御措施经过几十年的演变，已对人类攻击者产生了效果。它们可以且应该被增强以处理 AI 赋能的攻击，但基本方法仍然有效。

类似的模式也存在于其他领域：防御 AI 赋能的网络威胁需要加强现有的漏洞检测程序，而不是试图从源头限制 AI 能力。同样，对 AI 生物风险的担忧最好在制造生物武器的采购和筛选阶段解决。

AI 对防御很有用

我们不应仅将 AI 能力视为风险来源，而应认识到它们的防御潜力。在网络安全领域，AI 已经通过自动化漏洞检测、威胁分析和攻击面监控来增强防御能力。

让防御者获得强大的 AI 工具通常会使攻防平衡向有利于他们的方向倾斜。这是因为防御者可以使用 AI 系统地探测自己的系统，在攻击者利用漏洞之前发现并修复它们。例如，谷歌最近将语言模型集成到了用于测试开源软件的模糊测试工具中，使他们能够比传统方法更有效地发现潜在的安全问题。

同样的模式也存在于其他领域。在生物安全方面，AI 可以增强用于检测危险序列的筛选系统。在内容审核方面，它可以帮助识别协调一致的影响力行动。这些防御性应用说明了为什么限制 AI 开发可能会适得其反——我们需要防御方拥有强大的 AI 系统来对抗 AI 赋能的威胁。如果我们对语言模型进行对齐，使其在这些任务（如在关键网络基础设施中寻找漏洞）中毫无用处，防御者将失去使用这些强大系统的机会。但有动力的对手可以训练自己的 AI 工具进行此类攻击，导致攻击能力增加而防御能力没有相应增加。

我们不应仅根据攻击能力来衡量 AI 风险，而应关注每个领域的攻防平衡等指标。此外，我们应该认识到我们有能力有利地改变这种平衡，并且可以通过投资防御性应用而不是试图限制技术本身来实现这一点。

灾难性失调是一种推测性风险

失调（Misaligned）的 AI 违背了其开发者或用户的意图。（“对齐”一词有许多不同的用法；我们在此暂不讨论其他定义。）与滥用场景不同，这里没有怀有恶意的用户。与事故不同，系统按设计或指令运行，但设计或指令本身与开发者或用户的意图不符，因为完整且正确地指定目标具有挑战性。与聊天机器人中的毒性输出等日常失调案例不同，我们在这里关注的是先进 AI 导致灾难性或生存性伤害的失调。

我们认为，针对对齐失灵（misalignment）的主要防御手段同样在于下游。正如我们之前讨论的，针对滥用所需的防御措施——从加固关键基础设施到提高网络安全——也将起到防范潜在对齐失灵风险的作用。

在将 AI 视为常规技术的视角下，灾难性对齐失灵是（目前为止）我们讨论的风险中最具推测性的。但什么是推测性风险——难道所有风险不都是推测性的吗？区别在于两种类型的不确定性，以及相应对概率的不同解释。

2025 年初，当天文学家评估小行星 YR4 在 2032 年撞击地球的概率约为 2% 时，该概率反映的是测量中的不确定性。在这种情况下，实际的撞击几率（在无干预的情况下）要么是 0%，要么是 100%。进一步的测量解决了 YR4 案例中的这种“认知”（epistemic）不确定性。相反，当分析师预测未来十年发生核战争的风险是（比如）10% 时，这个数字主要反映了由于未来发展不可知而产生的“随机”（stochastic）不确定性，且相对不太可能通过进一步的观察来解决。

我们所说的推测性风险，是指那些对于真实风险是否为零存在认知不确定性的风险——这种不确定性有可能通过进一步的观察或研究得到解决。小行星 YR4 的撞击曾是一个推测性风险，而核战争则不是。

为了说明为什么灾难性对齐失灵是一个推测性风险，请考虑一个最初旨在展示对齐失灵危险的著名思想实验。它涉及一个“回形针最大化者”（paperclip maximizer）：一个以制造尽可能多的回形针为目标的 AI。令人担忧的是，AI 会字面化地执行目标：它会意识到，在世界上获取权力和影响力并控制全球所有资源将有助于实现该目标。一旦它变得无所不能，它可能会征用全球所有资源（包括人类生存所需的资源）来生产回形针。

担心 AI 系统可能会对指令产生灾难性误解，这种担忧建立在关于技术在现实世界中如何部署的可疑假设之上。在一个系统被赋予决策权之前，它需要在不太关键的环境中证明其性能的可靠性。任何字面化理解指令或缺乏常识的系统都无法通过这些早期测试。

考虑一个更简单的案例：一个机器人被要求“尽快从商店买回回形针”。一个字面化理解此指令的系统可能会无视交通法规或尝试偷窃。这种行为会导致其立即被关停并重新设计。通往采用的道路本质上要求在日益重要的情境中展示出适当的行为。这并非侥幸，而是组织采用技术的根本特征。

这种担忧的一个更复杂的版本基于“欺骗性对齐”（deceptive alignment）的概念：这指的是一个系统在评估或部署早期阶段表现出对齐状态，但一旦获得足够的权力就会释放有害行为。在领先的 AI 模型中已经观察到了某种程度的欺骗现象。

根据超级智能视角，欺骗性对齐是一颗定时炸弹——由于拥有超级智能，该系统将能够轻易挫败人类检测其是否真正对齐的任何尝试，并等待时机。但是，在常规技术视角下，欺骗只是一个工程问题，尽管是一个重要的问题，需要在开发和整个部署过程中加以解决。事实上，这已经成为强大 AI 模型安全评估的标准组成部分。

至关重要的是，AI 在这一过程中是有用的，AI 的进步不仅使欺骗成为可能，也提高了检测欺骗的能力。正如在网络安全案例中一样，防御者拥有许多非对称优势，包括能够检查目标系统的内部结构（这一优势的有用程度取决于系统的设计方式以及我们在可解释性技术上的投入）。另一个优势是纵深防御，许多不仅针对滥用而且针对未对齐 AI 的防御措施都将位于 AI 系统的下游。

对齐失灵的担忧通常假定 AI 系统将自主运行，在没有人类监督的情况下做出高风险决策。但正如我们在第二部分中所论证的，人类控制仍将是 AI 部署的核心。现有的围绕重大决策的制度控制——从财务控制到安全监管——为防止灾难性对齐失灵提供了多层保护。

某些技术设计决策比其他决策更容易导致对齐失灵。一个臭名昭著的场景是使用强化学习在长跨度时间内优化单一目标函数（该函数可能被意外地定义不全或定义错误）。游戏智能体中有许多有趣的例子，例如一个赛艇智能体学会了在一个区域内无限循环以击中相同的目标并得分，而不是驶向终点线。重申一下，我们认为在开放式的现实场景中，以这种方式设计的智能体与其说是危险的，不如说是低效的。无论如何，研究对应对“规格博弈”（specification gaming）较不敏感的替代设计范式是一个重要的研究方向。

简而言之，关于回形针最大化者场景存在非零风险的论点建立在可能成立也可能不成立的假设之上，而且有理由认为，研究可以让我们更好地了解这些假设对于正在构建或构想中的 AI 系统是否成立。基于这些原因，我们称之为“推测性”风险，并在第四部分探讨这一观点的政策含义。

历史表明常规 AI 可能会引入多种系统性风险

虽然上述讨论的风险具有灾难性或生存威胁的潜力，但还有一长串 AI 风险虽未达到这一级别，但仍然是大规模和系统性的，超越了任何特定 AI 系统的直接影响。这些风险包括偏见和歧视的系统性巩固、特定职业的大规模失业、劳动条件恶化、不平等加剧、权力集中、社会信任侵蚀、信息生态系统污染、自由媒体衰落、民主倒退、大规模监视以及助长威权主义。

如果 AI 是常规技术，这些风险将变得比上述灾难性风险重要得多。这是因为这些风险源于个人和组织利用 AI 来推进自身利益，而 AI 仅仅充当了我们社会中现有不稳定因素的放大器。

在变革性技术的历史上，这类社会政治动荡屡见不鲜。值得注意的是，工业革命导致了快速的大规模城市化，其特点是恶劣的工作条件、剥削和不平等，从而催生了工业资本主义，并引发了社会主义和马克思主义的兴起作为回应。

我们建议的重点转移大致对应于 Kasirzadeh 对“决定性生存风险”和“累积性生存风险”的区分。决定性生存风险涉及“公开的 AI 夺权路径，其特征是不可控的超级智能等情景”，而累积性生存风险是指“关键的 AI 诱发威胁的逐渐积累，如严重的脆弱性和经济政治结构的系统性侵蚀”。但也存在重要差异：Kasirzadeh 对累积风险的描述在很大程度上仍依赖于网络攻击者等威胁主体，而我们的担忧仅仅在于资本主义当前的路径。我们认为此类风险不太可能是生存性的，但仍然极其严重。

第四部分：政策

AI 的不同未来——常规技术与潜在不可控的超级智能——之间的分歧给政策制定者带来了困境，因为针对一组风险的防御可能会使另一组风险恶化。我们提供了一套原则来应对这种不确定性。更具体地说，政策制定者应核心关注的策略是“韧性”（resilience），即现在采取行动以提高我们应对未来意外发展的能力。政策制定者应拒绝“不扩散”（nonproliferation），因为它违反了我们概述的原则，并降低了韧性。最后，扩散面临的阻力意味着实现 AI 的收益并非板上钉钉，需要政策制定者的行动。

关于 AI 治理已有诸多讨论。我们的目标不是提出一个全面的治理框架；我们只是强调将 AI 视为常规技术这一观点的政策含义。

不确定性下的政策制定挑战

当今的 AI 安全话语以世界观的深刻分歧为特征。我们认为这些分歧不太可能消失。固化的阵营已经形成：AI 安全联盟已经根深蒂固，而那些对灾难性风险持怀疑态度的人则在 2024 年凝聚起来，特别是在关于加州 AI 安全法案的辩论过程中。同样，AI 安全阵营的思想根源要久远得多，而采用常规技术范式的学术研究正在逐渐成形；我们自己的许多工作（包括本文）的目标就是为常规主义思维奠定更坚实的知识基础。

我们支持减少社区极化和碎片化的呼吁。但即使我们改善了话语的基调，我们仍可能面临世界观和认知实践上的差异，而这些差异不太可能通过经验得到解决。因此，“专家”之间就 AI 风险达成共识是不太可能的。两个阵营构想的 AI 风险场景的性质截然不同，商业主体抵御这些风险的能力和动机也截然不同。面对这种不确定性，政策制定者该如何行动？

政策制定中的一种自然倾向是妥协。但这不太可能奏效。某些干预措施，如提高透明度，对缓解风险是无条件有益的，不需要妥协（或者说，政策制定者必须平衡行业和外部利益相关者的利益，这是一个基本正交的维度）。其他干预措施，如不扩散，可能有助于遏制超级智能，但会通过增加市场集中度而加剧与常规技术相关的风险。反之亦然：通过培育开源 AI 来增强韧性等干预措施将有助于治理常规技术，但存在释放失控超级智能的风险。

这种张力是不可避免的。可以说，防御超级智能需要人类团结起来对抗共同的敌人，集中权力并对 AI 技术实施中央控制。但我们更担心的是人们为了自身目的使用 AI 而产生的风险，无论是恐怖主义、网络战、破坏民主，还是最常见的——放大不平等的掠夺性资本主义行为。防御这类风险需要通过防止权力和资源的集中（这通常意味着让强大的 AI 更广泛地可用）来增强韧性。

另一种应对不确定性的诱人方法是估计各种结果的概率，然后应用成本效益分析。AI 安全社区在很大程度上依赖于对灾难性风险（尤其是生存风险）的概率估计来指导政策制定。这个想法很简单：如果我们认为一个结果的主观价值或效用为 U（可以是正值或负值），并且它有 10% 的发生概率，我们可以表现得好像它肯定会发生且价值为 0.1 * U。然后我们可以累加每个选项的成本和收益，并选择使成本减去收益最大化的选项（即“期望效用”）。

在最近的一篇文章中，我们解释了为什么这种方法是不可行的。 AI 风险概率缺乏有意义的认知基础。有根据的概率估计可以是归纳性的，基于类似过去事件的参考类，如用于汽车保险定价的车祸数据。或者它可以是演绎性的，基于对所讨论现象的精确模型，如在扑克中。不幸的是，在 AI 风险方面，既没有有用的参考类，也没有精确的模型。在实践中，风险估计是“主观的”——预测者的个人判断。由于缺乏任何依据，这些估计往往差异巨大，通常相差几个数量级。

除了概率之外，计算的其他组成部分——各种政策选择（包括不作为）的后果——也面临巨大的不确定性，不仅在规模上，而且在方向上。没有可靠的方法来量化我们因限制 AI 可用性的政策而放弃的收益，而且我们在下文论证，不扩散可能会使灾难性风险变得更糟。

此外，我们赋予某些结果的效用可能取决于我们的道德价值观。例如，有些人可能认为灭绝具有难以想象的巨大负效用，因为它排除了未来可能存在的所有人类生命（无论是物理的还是模拟的）。（当然，涉及无穷大的成本效益分析往往会导致荒谬的结论）。

另一个例子是限制自由与不限制自由的政策之间的不对称性（例如要求开发某些 AI 模型必须获得许可，与增加开发 AI 风险防御手段的资金投入）。某些限制违反了自由民主的一个核心原则，即国家不应基于理性人可以拒绝的有争议信念来限制人们的自由。证明合理性对于政府的合法性和权力的行使至关重要。目前尚不清楚如何量化违反这一原则的成本。

证明合理性的重要性当然可以在规范层面进行辩论，但从经验来看，到目前为止，它在 AI 政策中似乎得到了证实。如前所述，加州的 AI 安全监管导致了该法案反对者的凝聚。反对阵营中的一些成员是出于自身利益的公司，但另一些则是学者和进步倡导者。根据我们的经验，第二组人的驱动动机在许多情况下是政府被认为逾越了其合法权力的界限，因为对于那些不认同该法案未声明前提的人来说，所提供的理由是完全没有说服力的。

价值观和信念上不可避免的差异意味着政策制定者必须采纳价值多元主义，倾向于那些能被具有广泛价值观的利益相关者接受的政策，并尝试避免那些可以被利益相关者合理拒绝的对自由的限制。他们还必须优先考虑鲁棒性（robustness），倾向于那些即使其背后的关键假设被证明是错误的，仍然有帮助或至少无害的政策。

将减少不确定性作为政策目标

虽然由于上述原因无法消除不确定性，但可以减少不确定性。然而，这一目标不应只留给专家；政策制定者可以而且应该发挥积极作用。我们建议五种具体方法。

图 6. 几种可以增强公众关于 AI 使用、风险和故障信息的政策概览。91

风险研究的战略资助。 目前的 AI 安全研究过度集中在有害能力上，并未采纳常规技术视角。对于技术能力下游的问题关注不足。例如，关于威胁主体实际如何使用 AI 的知识惊人地匮乏。虽然存在诸如 AI 事件数据库（AI Incident Database）之类的努力且很有价值，但数据库中的事件源自新闻报道而非研究，这意味着它们经过了此类事件成为新闻的筛选性和偏见性过程。

幸运的是，研究资助是一个可以进行健康妥协的领域；我们主张增加对风险（和收益）研究的资助，以解决在常规技术视角下更具相关性的问题。其他可能减少或至少澄清不确定性的研究包括证据合成工作，以及具有不同世界观的研究者之间的对抗性合作。

AI 使用、风险和故障的监测。 虽然研究资助可以帮助监测现实世界中的 AI，但它也可能需要监管和政策——即“证据导向型政策”（evidence-seeking policies）。我们在图 6 中建议了几项此类政策。

关于不同类型证据价值的指导。 政策制定者可以向研究界提供更好的理解，说明哪些类型的证据是有用且可操作的。例如，各种政策制定者和咨询机构已经指出了“边际风险”框架在分析开放权重模型和闭源模型相对风险方面的有用性，这有助于研究人员指导未来的研究。

将证据收集作为首要目标。 到目前为止，我们讨论了专门旨在产生更好证据或减少不确定性的行动。更广泛地说，对证据收集的影响可以被视为评估任何 AI 政策的一个因素，与最大化收益和最小化风险的影响并列。例如，支持开放权重和开源模型的一个理由可能是推进 AI 风险研究。相反，支持闭源模型的一个理由可能是对其使用和部署的监控可能更容易。

韧性之辩

Marchant 和 Stevens 描述了治理新兴技术的四种方法；见图 7。其中两种是“事前”的（风险分析和预防），另外两种是“事后”的（责任和韧性）。这些方法各有优缺点，可以互补；尽管如此，某些方法显然比其他方法更适合某些技术。

Marchant 和 Stevens 认为（我们也同意），事前方法不太适合 AI，因为在部署之前很难确定风险。责任制表现较好，但也有重要的局限性，包括因果关系的不确定性以及它可能对技术发展产生的寒蝉效应。

图 7. 基于 Marchant 和 Stevens 的治理新兴技术的四种方法摘要。

他们对韧性的定义如下：

韧性，最简单的形式，是一个系统应对损害的能力。[脚注略] 韧性方法并不一定试图维持稳定或平衡。相反，它承认复杂系统中的变化是不可避免的，并试图以保护和保留原始系统核心价值和功能的方式来管理和适应这种变化。因此，韧性是“一个系统在经历冲击的同时，保持基本相同的功能、结构、反馈以及身份的能力”。韧性被描述为一种确保在重大外部冲击或干扰造成损害后实现“软着陆”的策略。

在 AI 的背景下，损害可能源于特定部署系统中的事件，无论这些事件是意外还是攻击。还有一些可能导致也可能不导致损害的冲击，包括攻击能力的突然增强（如赋能生物恐怖分子）以及能力的突然扩散（如通过发布开放权重模型或窃取闭源模型的权重）。在我们看来，韧性既要求在损害发生时将其严重程度降至最低，也要求在冲击发生时将损害的可能性降至最低。

韧性结合了事前和事后方法的元素，包括在损害发生之前采取行动，以便在损害确实发生时处于更有利的位置来限制损失。许多基于韧性的治理工具通过缓解“步调问题”（pacing problem）发挥作用，即传统的治理方法无法跟上技术发展的速度。

针对 AI 已经提出了许多韧性策略。它们可以分为四大类。前三类由“无悔”政策组成，无论 AI 的未来如何，这些政策都会有所帮助。

广泛的社会韧性： 重要的是加倍努力保护民主的基石，特别是那些被 AI 削弱的基石，如自由媒体和公平的劳动力市场。AI 的进步并不是现代社会面临的唯一冲击，甚至不是唯一的科技冲击，因此无论 AI 的未来如何，这些政策都会有所帮助。
有效技术防御和政策制定的先决条件： 这些干预措施通过加强技术和制度能力来赋能下一类措施。例子包括资助更多关于 AI 风险的研究、对高风险 AI 系统开发者的透明度要求、在 AI 社区建立信任并减少碎片化、增加政府的技术专长、加强 AI 方面的国际合作以及提高 AI 素养。即使事实证明我们对 AI 的现状或未来影响的看法是错误的，这些措施也将有助于建立减轻 AI 风险的技术和制度能力。
无论 AI 的未来如何都有帮助的干预措施： 这些包括开发预警系统、针对已识别的 AI 风险开发防御措施、激励防御者（如网络攻击背景下的软件开发者）采用 AI、为研究人员提供法律保护、不良事件报告要求以及举报人保护。
如果 AI 是常规技术则会有所帮助，但可能会使控制潜在超级智能 AI 变得更难的促进韧性的干预措施： 例如促进竞争（包括通过发布开放模型）、确保 AI 广泛用于防御，以及多中心治理（polycentricity），即要求监管机构多样化，理想情况下在它们之间引入竞争，而不是让一个监管机构掌控一切。

我们希望即使在对 AI 风险和 AI 未来轨迹持有截然不同信念的专家和利益相关者之间，也能就前三类达成共识。我们建议，目前政策制定者也应谨慎推行最后一类的干预措施，但同时也应提高在 AI 轨迹发生变化时改变方向的准备。

不扩散难以强制执行且会导致单点故障

不扩散政策旨在限制能够获得强大 AI 能力的主体数量。例子包括旨在限制各国构建、获取或运行强大 AI 能力的硬件或软件出口管制，要求获得构建或分发强大 AI 的许可，以及禁止开放权重 AI 模型（因为它们的进一步扩散无法控制）。

如果我们将未来的 AI 视为超级智能，不扩散似乎是一个极具吸引力的干预措施，甚至可能是必要的。如果只有少数主体控制强大的 AI，政府就可以监控他们的行为。

不幸的是，构建高性能 AI 模型所需的技术知识已经广泛传播，许多组织分享了完整的代码、数据和训练方法。对于资金充足的组织和民族国家来说，即使是训练最先进模型的高昂成本也是微不足道的；因此，不扩散将需要前所未有的国际协调水平。此外，算法的改进和硬件成本的降低不断降低准入门槛。

执行不扩散面临严重的实际挑战。恶意行为者可以简单地无视许可要求。随着训练成本的降低，监视训练模型的数据中心的建议变得越来越不切实际。随着能力变得更容易获得，维持有效的限制将需要日益严厉的措施。

不扩散引入了新的风险：它会减少竞争并增加 AI 模型市场的集中度。当下游应用都依赖于同一个模型时，该模型中的漏洞可能会在所有应用中被利用。软件单一化（monoculture）带来的网络安全风险的一个经典例子是 2000 年代针对 Microsoft Windows 的蠕虫病毒激增。

依赖不扩散会在面对冲击时产生脆弱性，例如模型权重泄露、对齐技术失效或对手获得训练能力。它将注意力从更稳健的防御上转移开，而这些防御本应关注 AI 风险可能出现的下游攻击面。

不扩散产生的风险不仅限于单点故障——当开发最先进模型所需的专业知识被限制在少数几家公司时，只有他们的研究人员才能拥有安全研究所需的深度访问权限。

为了倡导不扩散，人们援引了许多潜在的 AI 滥用行为，包括化学、生物和核威胁，以及网络攻击。

生物武器的风险是真实存在的。由于大语言模型是通用技术，它们很可能会被生物恐怖分子利用，就像它们在大多数领域被利用一样。但这并不会使生物恐怖主义成为一种 AI 风险——正如考虑到生物武器的信息在网上广泛可用，它也不是一种互联网风险一样。我们针对现有生物恐怖主义风险采取的任何防御措施（如限制获取危险材料和设备）也将对 AI 赋能的生物恐怖主义有效。

在网络安全方面，正如我们在第三部分讨论的，自动化漏洞检测的进步往往有利于防御者而非攻击者。除非这种攻防平衡发生变化，否则试图限制这些能力的扩散将适得其反。

长期以来一直有人认为，政府在许多文明风险领域（如大流行病预防）的投入严重不足。如果坏人利用 AI 利用这些现有漏洞的可能性增加了解决这些问题的紧迫性，那将是一个好的结果。但将现有风险重新定义为 AI 风险并优先考虑针对 AI 的缓解措施将是极具误导性的。

不扩散不仅是一种政策干预，更是一种思维方式。这种思维方式可以被模型和下游开发者、部署者以及个人采纳。它不仅涉及技术访问权的集中，还涉及对技术的控制权的集中。考虑 AI 系统控制权所在地的层级（从中心化到去中心化）：政府、模型开发者、应用开发者、部署者和最终用户。在不扩散思维中，控制权在尽可能高（最中心化）的层级行使，而在韧性思维中，控制权通常在尽可能低的层级行使。

以下是不扩散干预措施的例子：

通过“遗忘”技术从模型中移除双重用途能力。
限制下游开发者微调模型的能力。
委托 AI 模型和系统本身根据其接受的符合集中安全政策的训练自主做出安全决策，因为部署者/用户不被信任能做到这一点。
增加 AI 系统对上下文、资源和敏感数据的访问级别，理由是这能让它们做出更好的安全决策（例如，访问用户的网络搜索历史可能允许聊天机器人更好地判断请求背后的意图是否恶意）。
开发受开发者控制并与传统组织并行运行的“AI 组织”（具有高度组织复杂性的多智能体系统），而不是将 AI 智能体集成到现有组织中。

除了极少数例外，我们认为基于不扩散的安全措施会降低韧性，从而从长远来看加剧 AI 风险。它们导致的设计和实施选择潜在地赋能了权力意义上的超级智能——增加自主水平、组织能力、资源访问权限等。矛盾的是，它们增加了它们原本旨在防御的风险。

实现 AI 的收益

常规技术视角的一个重要推论是，进步并非自动发生的——AI 扩散面临许多障碍。正如 Jeffrey Ding 所展示的，将创新扩散到整个经济领域的能力在不同国家之间差异巨大，并对其整体实力和经济增长产生重大影响。作为扩散如何成为瓶颈的一个例子，回想一下上文描述的工厂电气化的例子。政策可以缓解或加剧这些障碍。

实现 AI 的收益需要实验和重新配置。对这些需求不敏感的监管存在阻碍有益 AI 采用的风险。监管往往会创造或固化类别，从而可能过早地冻结商业模式、组织形式、产品类别等。以下是几个例子：

将某些领域（如保险、福利裁决或招聘）归类为“高风险”可能是一种范畴错误，因为同一领域内不同任务之间的风险差异可能远大于跨领域的差异。同一领域的任务可能涵盖从自动化决策（后果严重）到光学字符识别（相对无害）的广泛范围。此外，AI 的扩散必将创造出我们尚未预见的新任务，而这些任务可能会被监管预先错误分类。
AI 供应链正在迅速变化。基础模型的兴起导致模型开发商、下游开发商和部署者（以及许多其他类别）之间的区别变得更加清晰。如果不考虑这些区别，监管就有可能将特定部署背景下的风险缓解责任强加给模型开发商，而由于基础模型的通用性质以及所有可能部署背景的不可知性，开发商将无法履行这些责任。
当监管对决策进行“是否完全自动化”的二元区分，而不承认监督程度的差异时，就会抑制 AI 控制新模型的采用。正如我们上面讨论的，目前有许多新模型被提出，旨在实现有效的人类监督，而无需在每个决策中都让人类参与其中（human in the loop）。如果将自动化决策定义为让这些方法承担与完全没有监督的系统相同的合规负担，那将是不明智的。

明确地说，监管与扩散是一个虚假的权衡，就像监管与创新一样。上述例子都不是反对监管的论据；它们只是说明了对细微差别和灵活性的需求。

此外，监管在促进扩散方面发挥着至关重要的作用。作为一个历史案例，美国 2000 年的《电子签名法案》（ESIGN Act）在促进数字化和电子商务方面发挥了重要作用：确保电子签名和记录具有法律效力，有助于建立对数字交易的信任。

在 AI 领域，也存在许多促进扩散的监管机会。举例来说，新闻和媒体内容融入聊天机器人及其他 AI 接口的过程，受到了媒体机构对 AI 公司正当警惕的限制。到目前为止，达成的许多 AI 与新闻业的交易都具有剥削性，这是由于 AI 公司与出版商之间的权力不对称，以及后者缺乏集体谈判的能力。在监管监督下进行强制性谈判的各种模式是可行的。（这类监管的一个更重要的理由可能是保护出版商的利益，我们将在下文重新讨论）。

在法律或监管存在不确定性的领域，监管可以促进扩散。责任法在 AI 领域的应用往往不明确。例如，在联邦航空管理局（FAA）于 2016 年对新兴的小型无人机行业进行监管并制定明确的规则和要求之前，情况就是如此。随之而来的明确性促进了采用，并导致注册无人机、认证飞行员以及跨不同行业的用例数量迅速增加。

除了政府作为监管者的角色外，促进 AI 扩散的一个强大策略是投资于自动化的互补要素，即随着自动化程度提高而变得更有价值或更必要的要素。一个例子是在公共和私营部门推广 AI 素养以及劳动力培训。另一个例子是数字化和开放数据，特别是政府开放数据，这可以让 AI 用户从以前无法获取的数据集中受益。私营部门可能会在这些领域投资不足，因为它们是人人都能受益的公共物品。能源基础设施的改善（如电网的可靠性）将同时促进 AI 创新和扩散，因为它有助于 AI 的训练和推理。

政府在重新分配 AI 收益以使其更加公平，以及补偿那些因自动化而遭受损失的人方面也发挥着重要作用。加强社会安全网将有助于减少目前许多国家公众对 AI 的高度焦虑。艺术和新闻业是受 AI 损害的重要生活领域。政府应考虑通过对 AI 公司征税来为这些领域提供资金。

最后，政府在公共部门采用 AI 方面应保持微妙的平衡。行动太快会导致信任和合法性的丧失，例如纽约市的聊天机器人，它显然测试不足，并因告诉企业违法而登上头条。美国政府效率部（DOGE）对 AI 的使用包含许多可疑的应用。但行动太慢可能意味着基本的政府职能被外包给私营部门，而在那里实施这些职能的问责制较弱。

例如，税务和福利等领域规则的复杂性意味着人们经常求助于聊天机器人来寻求指导，而政府目前在提供此类服务方面远远落后，这是由于对所涉及风险的谨慎态度可以理解。

但行政国家对待这些风险的方式过于谨慎，被 Nicholas Bagley 描述为“程序拜物教”，可能导致“官僚机构失控”。除了失去 AI 的好处外，Bagley 还警告说，无能的表现会导致政府机构失去他们试图通过强调程序和问责制来获得的合法性。

最后的思考

“AI 作为常规技术”是一种世界观，它与“AI 作为即将来临的超级智能”的世界观形成鲜明对比。世界观由其假设、词汇、对证据的解释、认识论工具、预测以及（可能的）价值观构成。这些因素相互强化，在每种世界观中形成一个紧密的整体。

例如，我们假设，尽管 AI 与过去的技术之间存在明显差异，但它们具有足够的相似性，因此在没有特定反面证据的情况下，我们应该预期成熟的模式（如扩散理论）也适用于 AI。

词汇差异可能是有害的，因为它们可能隐藏了潜在的假设。例如，我们拒绝某些假设，而这些假设是使通常理解的“超级智能”概念具有意义所必需的。

关于 AI 未来的分歧往往部分源于对当前证据的不同解释。例如，我们强烈反对将生成式 AI 的采用描述为“迅速”（这强化了我们关于 AI 扩散与过去技术相似的假设）。

在认识论工具方面，我们在从过去推断未来时，淡化了概率预测，并强调需要对 AI 的含义进行拆解（通用程度、方法进步与应用开发与扩散的对比等）。

我们相信，我们世界观的某种版本被广泛持有。遗憾的是，它还没有被明确阐述，也许是因为对于持有这种观点的人来说，它似乎是默认的，而阐述它可能显得多余。然而，随着时间的推移，“超级智能”观点在 AI 论述中已占据主导地位，以至于沉浸其中的人可能无法意识到还存在另一种连贯的方式来构想 AI 的现在和未来。因此，可能很难识别为什么不同的人会对 AI 的进展、风险和政策持有截然不同的真诚见解。我们希望本文能为促进更多的相互理解发挥一点微小的作用，即使它没有改变任何信念。

致谢

我们深表感谢 Gillian Hadfield、Seth Lazar 以及匿名同行评审员在 Knight 第一修正案研究所（Knight First Amendment Institute）关于 AI 与民主自由的研讨会期间及之后对本文提出的详细建议。我们还要感谢研讨会的参与者，包括 Alex Abdo、Borhane Blili-Hamelin、Kevin Feng、Henry Farrell、Katy Glenn-Bass、Atoosa Kasirzadeh、Sydney Levine、Nik Marda、Deirdre Mulligan 和 Daniel Susskind。我们很幸运收到了许多其他人的草案反馈，包括 Shazeda Ahmed、Dean Ball、Nicholas Carlini、Alan Chan、Ajeya Cotra、Justin Curl、Jeffrey Ding、Benjamin Edelman、Jobst Heitzig、Noam Kolt、Mihir Kshirsagar、Timothy B. Lee、Steve Newman、David Robinson、Matthew Salganik、Zachary Siegel、Ollie Stephenson 和 Zach Vertin。感谢 Shira Minsk 和 Mandy Soulsby-Bodart 的编辑支持。最后，我们感谢澳大利亚国立大学 MINT 实验室成员以及普林斯顿大学“预测的局限性”（Limits to Prediction）课程学生的反馈。