我们还剩下什么工作可做

上周，我有幸在首尔举行的国际机器学习大会（ICML 2026）上发表了题为“我们还剩下什么工作可做？”的主旨演讲。我探讨了人们对于如何适应不断增强的 AI 能力所普遍存在的焦虑。演讲的反响令我倍感振奋，因此我分享了我的幻灯片，并附上了经过轻微编辑的演讲文稿注释。你也可以直接在下文中查看，但在线版本包含动画、可点击的链接，整体体验会好得多。

我提出了三个论点。首先，除非且直到未来出现某种不连续性（例如通过递归自我改进），否则“人工智能作为常规技术”（AI as Normal Technology）框架是思考 AI 影响的一种正确且有用的方式。其次，尽管我们应该认真对待递归自我改进，但企业在实验室中取得的任何里程碑，都不会突然让我们所有人失业。第三，也是最后一点，未来的工作将发生翻天覆地的变化，需要大量的适应过程。我分享了关于这种变化可能呈现的形式的思考，并以人类/AI“协同超智能”的愿景作为结尾。

我们还剩下什么工作可做？

现在是 AI 令人心潮澎湃的时代，但也是 AI 社区深感焦虑的时代。我想正面回应这种焦虑。当 AI 变得能够胜任越来越多我们今天所做的工作时，我们该如何为未来做准备？

我的出发点

我在普林斯顿大学领导一个团队，致力于推进 AI 智能体评估科学。我们试图超越“看，基准测试的能力正在提升！”这类常见论调。这些论调往往被大众误解为智能体很快就要抢走我们所有的工作。

也许那会发生。但在我们的工作中，我们试图理解能力之外的、对于现实世界部署至关重要的因素，并将这种理解引入评估中。

我更广为人知的工作是我与 Sayash Kapoor 合著的论文 《人工智能作为常规技术》。这是一种思考 AI 中期未来以及如何适应它的方式——进而思考如何让它适应社会和经济的需求。

所以我们一直在写这些关于律师该如何适应，或者记者该如何适应的文章。但具有讽刺意味的是，如何适应的问题首先冲击到了我们自己的社区。无论是软件工程还是 AI 研究本身，这些领域的 AI 能力当然都在飞速发展。

我们对这一时刻的反应，其意义超出了这个社区。全世界都在关注。如果我们只是顺从地接受未来大量工作将由 AI 完成，而不是设定明确的界限，我认为这将导致比今天更强烈的针对 AI 的政治抵制。所以我认为这个问题不仅是给我们的，也是给全世界的。

两种叙事的博弈

从 AI 诞生之初，历史上就一直存在这两种博弈的叙事。过去，这种区别是学术性和哲学性的，但现在它已成为一个极其现实的问题。我们每个人都必须决定自己属于哪个阵营，或者处于光谱的哪个位置，因为相信其中一种而非另一种的现实后果是非常、非常不同的。

如果你认为这是一种在几年内就能取代我们今天所做的一切的技术，那么正确的反应或许是在我们的技能变得无关紧要之前，尽可能快地积累财富。这也是硅谷许多人选择的道路。你可能听说过“永久底层阶级”这个梗。

另一方面，如果你像我一样相信，这是一种将极大增强我们潜力的技术，那么现在就是磨练技能的最佳时机——尤其是那些能与 AI 正在做和将要做的技能形成互补的技能——以及构建围绕它的所有东西，比如能动性、品味和判断力。

如果你选择第一条路，而事实证明 AI 最终是一种增强型技术而非替代型技术，那么我认为在接下来的几年里，你可能错失了历史上构建这些能赋予我们“超能力”技能的最佳时机。这就是为什么我们都需要思考这个问题，即使我们最终的落脚点并不相同。

什么是“人工智能作为常规技术”？

“人工智能作为常规技术”是我今天演讲的理论框架。当我们说 AI 是常规的，并不是指它就像锤子或牙刷那样是一种平庸的技术。

我们在文章中明确承认，这是一种与工业革命规模相当的变革性技术。我们不是 AI 怀疑论者。

这不仅仅是一个口号。它是一个框架——一种关于 AI 能力如何影响经济和社会因果模型。这是一篇 1.5 万字的长文，我们正在将其扩充成书。我提到这一点是因为人们听到“常规”这个词时，往往会想当然地认为他们明白我们的意思，但这会导致误解。

演讲大纲

首先，我将论证，除非且直到未来出现某种不连续性——例如通过递归自我改进——导致未来的影响看起来与过去截然不同，否则这个框架作为思考 AI 影响的方式是正确且有用的。

其次，我将谈谈为什么尽管我们应该认真对待递归自我改进，但我并没有为此感到特别焦虑。

第三，也是最后一点，我想明确表示，我并不是说未来的工作会和现在的工作一模一样。我们需要大量的适应。因此，我想就我们的角色将如何变化以及我们如何最好地适应这些变化给出一些初步的思考。

演讲大纲

将创新扩散理论应用于 AI

过去强大的技术（如电力）已经得到了透彻的研究，我们拥有良好的框架来理解技术进步如何转化为经济影响。

发明（Invention）： 发现电磁原理、交流电与直流电之争等。

创新（Innovation）： 人们并不直接使用“电”。我们使用电器。电器必须被发明出来，这是一种下游创新——这是框架的第二个阶段。

扩散（Diffusion）： 指人们开始采用创新的渐进过程。

在我们的文章中，我们将这一框架应用于 AI，并将其细化为一个由四部分组成的框架。

将创新扩散理论应用于 AI

这是基本图景，以软件工程为例。
方法/能力： 模型正在迅速改进。
产品/应用： 我们不直接使用大语言模型（LLM）。它们之所以在我们的工作中产生如此大的影响，是因为编码智能体（coding agents）。这些产品将那些潜在的能力转化为对劳动者有用且可用的东西。
早期采用： 起初人们大多在尝试“氛围编程”（vibe coding），现在我们知道那并不是开发生产级软件的最佳方式——所以现在我们有了更复杂的智能体工程方法。
适应： （或结构性转型）——第四个也是最慢的阶段。我今天的演讲大部分将围绕这一点展开。我主张这个阶段需要几十年的时间。它还没有真正开始，即使是在软件工程这样一个相对较早采用编码智能体的领域。

我们不知道适应阶段会是什么样子——我们只能推测。请允许我推测一分钟。如果未来的编码智能体能够创建包含千万行代码且没有漏洞和安全隐患的代码库，那么我们创建一个供数十亿人使用的单一软件就没什么意义了。软件根据每个个人或团队的需求进行定制会更有意义。这就是我所说的“极端个性化”。

这不仅仅是技术上的变化——对行业来说也是一种变化。例如：我们还需要软件公司吗？也许软件开发将大规模转向内部，转向实际使用软件的公司和团队。再次强调，这只是推测，但重点在于，正是这种组织变革、人的变革——这是非常缓慢的，需要几十年——才能让我们充分利用 AI 的潜力，无论是在软件工程还是在任何其他领域。这就是本文的核心见解之一。当我们回顾过去的技术时，这种变化往往非常缓慢。

转型是什么样子的？

在电力出现之前，工厂看起来像左边的图。一台巨大的蒸汽机产生动力，并通过机械齿轮和皮带传输到整个工厂。因此，当电力出现时，工厂主试图用发电机取代那些蒸汽锅炉。他们认为这会高效得多。但这种“直接替代”的想法行不通。我们今天在 AI 智能体的语境下不断听到这个词——说它们将成为人类员工的直接替代品。在电力的情况下，这行不通。

真正起作用的，并且花了 40 年才发展出来的是：认识到电力是一种截然不同的技术。它是便携的，所以你可以把动力移动到任何你需要的地方。这让你能够围绕流水线的逻辑重新组织整个工厂的布局。而这需要改变工人的培训、招聘和解雇方式，制定新的劳动法等等。这就是为了在工厂中获取电力带来的好处所进行的组织适应。

我们的主张是，AI 也将经历这样的过程。几十年后，我们将从根本上重新组织工作。我们不知道那会是什么样子，这是摆在我们所有人面前的挑战。这不仅仅是 AI 公司的工作，就像弄清楚如何重新组织工厂不是电力公司的工作一样。在我们看来，这是 AI 产生经济影响的四个阶段中最慢的一个。今天，这个过程还没有真正开始。

来自 Anthropic 的数据

为什么各行各业的人们在“可以使用 AI 做什么”和“实际在用 AI 做什么”之间存在巨大的鸿沟？一个原因可能是人们接受技术较慢，这当然是我们框架的一部分。

但我们想知道，那些正在部署 AI 但没有取得太大成功的人，是否知道一些 AI 行业所不知道的关于 AI 实际局限性的信息。让我们对能力与部署之间的关系保持更多的谦逊。

关于 AI 的头号担忧

鉴于人们提到的头号担忧是可靠性，我们想尝试衡量可靠性（区别于能力）是否是 AI 智能体实际效用的障碍。

我们的可靠性指标由以下部分组成：

我们研究了 10-12 个可靠性指标，并将它们归纳为四个维度。
一致性： 假设我们听说一个 AI 智能体有 70% 的准确率。这是否意味着它在 70% 的任务上有效，而且在有效的任务上每次都能成功？这对于部署来说非常好——你可以把它部署在那部分子任务上。还是说它在任何给定的任务上都有 30% 的概率不可预测地失败？从部署的角度来看，这几乎是没用的。也许令人震惊的是，我们研究的所有智能体基准测试都没有对这两者做出区分。这两者都被表示为 70% 的准确率。
鲁棒性： 我们观察了鲁棒性：当环境发生一点变化时会发生什么？
校准： 智能体能否回顾其执行记录并判断自己是否正确执行了任务？
操作安全： 当它确实失败时，是可恢复的，还是像删除生产数据库那样严重？

对于人类员工，如果我们认为某人胜任一份工作，那是所有这些因素的综合，而不仅仅是准确率。但事实证明，我们过去只衡量智能体的准确率。

AI 智能体：能力与可靠性之间的鸿沟

我们使用两个互补的基准测试，衡量了这 3 家前沿 AI 公司在过去 24 个月左右发布的模型的能力和可靠性。

这是一个准确率或能力大幅飙升的时期（左图）。

但可靠性（右图）仅增加了五个或十个百分点。

关键启示

这有很多启示，但我只想强调一点。目前行业并没有区分对待自动化智能体和协作智能体。如果你以无头模式运行一个智能体，我想它就变成了一个自动化智能体。这不是一种好的看待方式，因为对于自动化智能体非常重要的属性（如可靠性），对于你可能用来改进创意写作之类的协作智能体来说，实际上可能是一种障碍。对于那种智能体，你不希望它像机器人一样每次都做同样的事情。你希望它有创造力，探索不同的可能性，并且具有不可预测性。

脚手架甚至模型的后训练都应该有所不同，这取决于它是用于驱动协作智能体还是自动化智能体。

预测：协作智能体将继续比自动化智能体更成功。

我希望可靠性能继续提高，自动化随着时间的推移变得更容易。但目前我认为协作智能体将继续取得更大的成功。许多匆忙使用智能体自动化业务流程的公司正逐渐意识到其局限性和成本，甚至是法律责任——比如智能体删除了生产数据。

目前，在智能体中你只能拥有这三个属性中的两个：通用性（基于语言模型的智能体，可以被指示执行不同的任务，而不是像传统软件那样为特定任务构建）；部署在高风险场景中；以及自动化。

这是我认为目前 AI 更多是一种协作技术而非自动化取代人类员工的技术的原因之一。

为什么劳动影响是渐进的——

让我们以软件工程为例。这是一个很好的领先指标，因为编码智能体被采用得特别迅速。

事实核查：AI 正在取代软件工程师吗？

你可能会想：好吧，我们不能完全自动化软件工程。但如果智能体让软件工程师的效率提高十倍，那么我们需要的软件工程师就会减少十倍。这难道不是显而易见的后果吗？

然而，数据完全反驳了这一点。我们在后续的文章中研究了这个问题。在我们观察的每一个案例中，公司都面临着财务压力，而把裁员归咎于 AI 似乎更加方便。

编写代码从来不是瓶颈

为什么到目前为止 AI 没有取代软件工程师？我们很久以前就知道——这是一篇 2019 年的论文——编写代码并不是真正的瓶颈。

在过去的一年里，随着软件工程师开始采用编码智能体并意识到这似乎并没有减少他们的工作量，出现了许多博客文章重新发现“编写代码不是瓶颈”这一事实。这里有一小部分样本。

那么瓶颈到底是什么？

“决定-执行-交付”三明治模型

这个框架就是我们对该问题的回答。

决定层（The decide layer）： 理解客户需求、制定规范、规划等。这部分并没有被 AI 压缩。

执行层（The execute layer）： 实际的代码编写和调试。这部分正在被压缩，但它最初可能只占工作量的三分之一。

交付层（The deliver layer）： 足够深入地理解你的代码，以便为你发布的内容负责；执行客户系统的集成、维护、测试等。这一层也没有被压缩。

事实上，随着 AI 压缩中间层，第一层和第三层可以说正在扩张——我稍后会回到这一点。

一个有用的比喻：起重机操作员

我认为在软件工程中已经是这样了，并且在许多职业中也将越来越多地出现这种情况：我们可以把知识工作者想象成类似于起重机操作员或叉车操作员。机器极大地增强了人类进行体力劳动的潜力——它承担了所有的重活，但人仍然保持控制。我认为认知工作也正在发生同样的事情。机器将越来越多地承担认知的重活，但人仍然保持控制。

整个工作被重新概念化为操作机器、理解机器和控制机器，而不是由我们自己完成认知工作。

变化是永恒的

这一切看起来可能像是剧烈的变化，但在某种意义上，它只是软件工程中反复发生的事情的延续。从机器代码时代开始，我们经历了许多技术浪潮，每一次都让我们的生产力提高近一个数量级。在爬坡的过程中，软件工程的就业人数不仅没有减少，反而增加了约 1 万倍。这仅仅是因为需要编写的代码量增加了好几个数量级。

“劳动总量”谬误

经济学家反复发现了这一点。你可能听说过“杰文斯悖论”（Jevons’ paradox）；我更喜欢“劳动总量谬误”（lump-of-labor fallacy）这个词。

自动取款机（ATM）使得银行开设大量区域分行在经济上变得可行。而这些分行仍然需要人类柜员来处理 ATM 无法处理的事务。因此，矛盾的是，就业人数实际上增长了。

其他显著例子

杰夫·辛顿（Geoff Hinton）十年前做出了著名的预测，称放射科医生将在五年内基本灭绝。但事实证明，放射科的就业人数实际上增长了。这并不是因为放射科医生拒绝 AI。他们实际上正在积极地采用它。就业增长的一个原因是，当一项任务执行起来变得更快、更便宜时，对它的需求就会增加。

我们写过一篇关于律师该如何适应的论文。里面有很多内容，但简单的一点是，AI 让提起诉讼变得容易得多。这意味着律师的工作量增加了。如果我们不喜欢生活在一个诉讼成风的社会，我们可能会对此感到不快，但从律师就业的角度来看，这是个好消息。

翻译是一个更极端的例子，让我大开眼界。AI 在近十年前就几乎达到了人类水平。然而，人类翻译的就业人数保持了基本稳定，并预计在未来十年仍将保持稳定。原因有很多，但其中一个原因是，你可以翻译的东西数量以及你可以将其翻译成的语言种类实际上是没有上限的。

演讲大纲

我论证了到目前为止，我们的框架与证据是非常一致的。现在让我们谈谈这样一种可能性：我刚才所说的一切都将变得毫无意义，因为某种“起飞”或“奇点”将会实现，到那时我们将无事可做。

许多公司都表示，包括这两家，他们正在竞相实现递归自我改进。它们都是严肃的公司——我认真对待它们。

如果实现 RSI，后果会怎样？

假设在未来一年的某个时候，递归自我改进（RSI）实现了。后果会怎样？幻灯片展示了 AI 社区的普遍观点。请注意，AGI 是一个出了名的模糊术语。主要有两类定义：一类是 AGI 将在认知维度上像人类一样；另一类是它将能够执行一系列具有经济价值的任务。

我的主张是，这种将 AGI 和 ASI 视为 RSI 近乎自动的结果的观点有点愚蠢。这是四个不同维度的进步。这些维度之间并没有必然的蕴含关系。

我将在接下来的几张幻灯片中讨论细节，但现在先给出一个小小的直觉。与超智能相关的事情之一是它将治愈癌症和其他疾病。但我们知道，开发医疗手段的难点在于临床试验，这往往需要数千人和 10-15 年的时间。这就是超智能的瓶颈在于外部的一个例子。这不是你在实验室里通过纯粹的计算过程就能解决的。因此，像许多评论家假设的那样，认为递归自我改进会自动导致超智能——显然在因果链条中缺失了一些环节。

AGI 论述深受“夏威夷问题”之苦

在 AI 历史的早期，这些都是遥远的目标，所以我们不明确区分进步的不同维度是可以接受的。但现在这正成为一个真正的问题——它导致了混乱的论述。

打个比方，假设我们是早期的探险家，希望有一天能去夏威夷。我们用一个统一的术语来称呼这组群岛是可以的。但随着我们的船越来越近，我们最好能用不同的词来谈论这些岛屿。否则，我们就会对自己身在何处以及要去往何方感到困惑。

海伦·托纳（Helen Toner）等人也提出了类似的观点。

高级 AI 的四个维度

现在让我们详细讨论这四个维度，首先从“递归自我提升”（Recursive Self-Improvement）开始。

递归自我提升

假设一家公司声称他们构建了 RSI——即他们构建了一个能够构建其后继者的 AI 系统。这实际上意味着什么？

一方面，这可能意味着一个大语言模型（LLM）吐出了一堆关于如何调整架构或数据流水线之类的想法，然后他们自动测试并保留了有效的改进。这不过是美化版的超参数搜索。我们拥有像 AutoML 这样的系统已经很久了——我查了一下，甚至 Schmidhuber 在很久以前就发表过相关论文。我们并不把这称为超级智能。这是光谱的一端。

这与另一极端情况截然不同：你可以想象该公司实际上成功取代了人类 AI 研究者的创造力和智慧——不仅是一个研究者，也不仅仅是该公司工作的研究者，而是全球数十万人的整个社区，他们的创新都在推动 AI 系统的进步。因此，当人们谈论 RSI 时，并不清楚他们指的是哪一种。

我做出这一预测的原因很简单：AI 目前在可验证任务上的表现仍远好于不可验证任务。AI 性能的某些维度，如速度和效率，是可验证的，通过近期的 RSI 大幅提升这些维度是可能的。

然而，在智能的各个维度中，创造力是不可验证任务的典型缩影。

我们甚至不清楚如何测试 AI 的创造力。从认知科学和神经科学的角度来看，我们对人类创造力的理解还不够深入，无法为其建立明确的测试。

高级 AI 的四个维度

让我们深入探讨一下 AI 的创造力，以此来说明通往类人 AI 的障碍。

AI 创造力悖论

播客主持人 Dwarkesh Patel 的这段俏皮话很好地说明了 AI 创造力是如何落后于人类创造力的。虽然可能有一些反例，特别是在埃尔多斯问题（Erdos problems）等狭窄领域。但想想那些著名的“尤里卡时刻”——在看似无关的领域或问题之间发现令人惊讶的联系——我们将这归功于人类科学发明和创造力的伟大壮举。LLM 似乎还远未达到那种水平。

为了理解其中的原因，我花了很多时间沉浸在认知科学文献中。我不会详述细节，但似乎有两类文献以略微不同的方式看待这个问题，由于我并不完全理解的原因，它们之间并没有真正的交流。基于我的阅读，我想提出一些关于 AI 创造力的假设。

关于 AI 创造力的一些假设

表征质量（Representation quality）是认知的绝对基础。想想深度学习——它在感知背后的表征质量上实现了多么巨大的飞跃。所以我确实认为 AI 在感知方面的表征质量已经或多或少赶上了人类，但在人类用于创造力和推理的表征方面，它还没有赶上。

François Chollet 特别谈到了这样一个事实：支撑人类创造力的表征似乎表现出一种极端的组合性，一切都是由几个“意义原子”构建而成的。人类工作记忆和信息处理的许多看似局限的地方，实际上被证明是优势，因为它们迫使我们想出这些极其高效的表征。

因为 LLM 在某些维度上比人类强得多——比如记忆和检索可能激发创造力的存储模式——在试图比较人类和 LLM 创造力的研究中，我们无法诱发出这些重要的真实局限性。

此外，我们人类在创造性地思考问题时可以做一些美妙的事情：我们实时改进与问题相关的表征——如果你愿意的话，可以称之为在推理时（inference time）改进。这使我们能够通过睡眠来改善表征，并在第二天以更高的效率解决那个特定问题。我相信我们都经历过这种情况。但这是当今 AI 系统无法做到的。

我天真地以为研究“持续学习”（continual learning）的人会非常关注这一点，但当我开始查阅相关文献时，我发现情况并非如此。持续学习主要集中在防止“灾难性遗忘”，而不是随着时间的推移改进事物。而且，它更多地关注事实、技能等，而不是底层表征的质量。

综合以上所有因素，并考虑到创造力只是通往类人 AI 的众多障碍之一，我确实认为还有很长的路要走。尽管如此，我也想表达一些谦逊。这些都只是假设。我认为我们需要实证验证。

我们能否通过实证测试 AI 进行类人 AI 研究的能力？

说到实证测量，我们有一个正在进行的项目，测试 AI 进行类人 AI 研究的能力。

我们给 AI 智能体几千美元的预算和一个机器学习研究问题——这个问题是研究人员已经研究过并写过论文，但尚未在 arXiv 上公开的。这结合了两个特性：它为我们提供了一个由人类评委组成的团队，他们已经对这个问题进行了数月的深入思考，因此可以评判 AI 的输出；但他们的想法尚未上网，因此可以防止 AI 作弊或数据污染。

许多其他人也做过自动研究实验，但我们尝试做一些不同的事情——特别是选择一些开放式的问题，以便我们能够真正测试 AI 智能体行使判断力和创造力的能力。我们希望很快发布详细的研究结果。

我们称之为“开放世界评估”

这建立在我们称之为开放世界评估的基础之上。我们已经完成了一项开放世界评估，让智能体构建并上传一个应用程序到苹果应用商店——这与递归自我提升无关，但它测试了不同类型的东西。我们组建了一支优秀的团队，成员来自多所大学、几家公司以及英国 AI 安全研究所。

顺便说一句，我们正在招聘一名研究员来领导我们未来的一些开放世界评估。如果你感兴趣，请查看我们的网站。

高级 AI 的四个维度

现在让我们转向四个维度中的第三个。

经济变革性 AI

有些人说 AGI 已经到来了。嗯，这是解释该主张的一种方式，而我恰好同意这一点。

考虑到我在第一部分中对快速经济影响所表达的怀疑，这似乎令人惊讶。但这不仅是一致的，而且实际上是对第一部分的重申。我当时的观点是，障碍在于下游，因此模型的改进不会迅速改变经济。但同样地，正因为障碍在下游，即使没有模型改进，那些障碍也会逐渐得到解决。是的，这可能需要几十年，但我们肯定会实现。

剩下的障碍是什么？

障碍有很多：可靠性（已经讨论过）；将 AI 模型集成到各种现有系统中；来自医学、法律或其他各种专业领域的隐性知识需要提供给模型；法规往往直接禁止当今的 AI 系统以生产性方式使用——在许多情况下，这些法规有充分的理由，但为了能够实现采用，需要对其进行修改。

关键点在于，这些问题不是在实验室里就能解决的。这些问题不会通过下周二发布的下一个模型来解决。它们将通过几十年的逐渐采用来逐步解决。

从地缘政治或战略角度来看，有些人提倡 AGI 竞赛，认为类似于曼哈顿计划，第一个达到某个能力里程碑的国家将获得经济回报。我强烈反对这种观点。

没有任何特定的能力里程碑能解锁所有的经济潜力。经济潜力已经存在了。它实际上取决于我们采取的所有这些下游行动。它不受能力的限制。

高级 AI 的四个维度

好了。现在让我谈谈最后一个维度，即超级智能。

关于超级智能的三个主张

我之前举了医学试验的例子。另一个例子：你认为我们会拥有能够精确预测未来一年天气的超级智能吗？我们知道这在基本上是数学上不可能的，因为非线性动力系统中的混沌理论。我们的立场是，有惊人数量的任务与天气预报类似，即存在固有的限制，而我们几乎已经达到了这些限制。

即使对于那些我们尚未达到极限的任务，认为 AI 超级智能将取代人类的想法也源于对人类智能的根本误解。我主张，在绝大多数任务中，我们的表现并不受限于我们的生物学特性——相反，它受限于我们的学习和工具。

如果你想象一个来自远古时代的人穿越到我们的世界，与那个人相比，我们就是超级智能。这并不是因为我们的生物机能更好，而是因为他们没有经历过我们所经历的所有学习，也没有我们为了提高生产力而使用的所有工具，特别是数字工具。

而 AI 就是这样一种工具。因此，在我们的框架中，这意味着 AI 的改进实际上是在提高人类的智能，而不仅仅是 AI 的智能。所以，我们正在进行一场竞赛，一方是受 AI 增强的人类的表现，另一方是独立运行的 AI 系统的表现。我认为我们可以确保我们成为未来的超级智能并赢得这场竞赛，而不是允许 AI 系统以威胁我们未来和控制权的方式独立运行。

许多人对此持悲观态度。他们提出了思想实验，例如 AI 在未来经营并拥有公司。他们的观点是，如果 AI 系统没有对齐，可能会发生可怕的事情——AI 可能会变成一个回形针最大化者或做出其他灾难性的事情。我们的观点非常不同。如果你想象一个 AI 实际拥有并经营公司、雇佣和解雇员工的未来，那已经是反乌托邦了。无论那个 AI 是否对齐都不重要。对人类尊严、民主治理等方面的后果已经是灾难性的了。

因此，如果你对安全的看法是将这视为不可避免的未来，并仅仅希望通过“对齐”来解决这个问题——请原谅我说话直白——在我看来，你是在反对安全，而不是支持安全。我认为要确保我们不以这种方式不负责任地部署 AI 系统，需要付出很多艰苦的努力。但我认为我们可以做到。这就是我职业生涯中花了很多时间为政策制定者提供建议的原因。我们需要政策，我们需要政治，这会很艰难，但让我们不要在战斗开始前就放弃。

总结：高级 AI 的四个维度

例如，RSI 在实验室中是可以实现的，但它不会立即让人们失业。另一方面，经济变革性 AI 将会发生，但这并不是因为下一个模型的发布——而是因为在未来几十年里逐渐发生的事情。

回到本次演讲的主题：不存在这样一个世界，即 AI 公司在实验室里决定做的某件事会让所有人失业。是的，有风险需要担心。是的，事情将会发生变化。但我们对 AI 如何部署拥有主导权，而这个过程将持续数十年。同样，这并非板上钉钉，但这是我想要努力实现的未来，也是我持谨慎乐观态度的原因。

本次演讲的大纲

让我用最后十五分钟谈谈另一面。我确实认为很多事情都会发生变化。其中有哪些呢？

普遍观察：纯技术技能贬值

技术技能往往是可验证的任务，而 AI 将继续在这些方面变得更好。

二十多年前，编程工作与软件工程工作的劳动力需求开始出现显著差异。编程工作被狭隘地理解为编码和调试的技术技能。而软件工程工作则负责我提到的“决策、执行、交付”三明治模型的所有三个层面——弄清楚到底需要构建什么、了解客户等等。它需要领域知识、判断力等。

我预测随着时间的推移，这种情况将在越来越多的领域发生。

精力从构建转向评估

我观察到的一个反复出现的模式是——精力从构建系统转向评估系统。正如我提到的，我领导着一个致力于 AI 智能体评估的团队。LLM 和智能体是通用的。因此，每当能力提升时，它都会产生在法律环境、新闻环境或其他任何环境下的评估需求，而这项工作是无法规模化的。

AI 智能体评估已成为一门独立的学科

AI 智能体评估不仅难以自动化，而且已经变得足够专业化，以至于从事评估的人员和团队开始与构建和推动 AI 智能体技术前沿的人员和团队分离开来。这个新社区正在围绕如何严谨地评估智能体制定一套新的最佳实践，我们即将发表的一篇论文将详细探讨这一点。

评估是我们“掌舵”的方式

这里有一个比喻来解释我在社区中看到的转变。想象一下，过去大多数船都是划艇，人类的工作是物理性地移动船只。当时并没有专门的掌舵角色：当你在划船时，你也在思考该往哪个方向划。

但是，当移动船只的体力活可以委托给引擎时，发生了什么？人类的工作并没有消失。事实上，它们变得更加专业化了。现代船只有非常复杂的控制面板，并且可能有几十个不同的专业角色，专注于船只应该去哪里以及如何到达那里。

我认为我们在 AI/ML 领域看到了类似的转变。在过去，我们的大部分工作都在构建上——我们不需要专门的评估角色。现在情况变了。我们仍处于这一过程的早期阶段，但我认为随着时间的推移，越来越多的构建工作（因为它是可验证的任务）将能够由 AI 完成，而评估——弄清楚我们作为一个社区应该走向何方，弄清楚 AI 系统中哪些属性是理想的——则是非常难以自动化的。因此，与今天相比，随着时间的推移，社区注意力的更大一部分将不得不集中在评估上。

在划船中，体力曾被推崇，而今天我们可能会为水手不需要强壮、全是书呆子而感到难过。同样，在今天的 AI 社区中，对模型和系统的深度技术理解仍然具有巨大价值，并被认为是最酷、最重要的事情；那是能带来巨大价值的事情。但我认为在未来，这的重要性将低于行使判断力以及所有这些在当今 AI 社区中地位较低的模糊事物。这是一种我们可能还没完全准备好的心态转变。我们中的许多人会为此感到难过，这没关系。

像 ICML 这样的会议应该有多少比例关于评估？

这种转变的一个实际后果是：考虑像这样的会议。会议中应该有多少比例专门用于评估论文？

我不知道，但我认为可能比现在要多得多。也许在一半左右——我只是随口说个数字——这比现在要高出几个数量级。至少我们需要一个专门的赛道（track）。我们现在还没有专门的赛道。NeurIPS 确实有一个，而且随着时间的推移，它的受欢迎程度一直在增长，我认为这是一件好事。

我会更进一步主张，对 AI 系统进行深思熟虑的评估是“对齐”的一种形式。它不是对齐 AI 系统本身，而是对齐整个社区——思考我们目前要去哪里以及我们想去哪里，并努力使这两者相互对齐。如果没有足够的评估重点，我担心社区——回到船的比喻——会表现得像一艘失去舵的船：动力非常强大，但我们集体无法控制我们想要开发什么样的 AI。

我们评估研究本身的方式必须改变

我在这篇很酷的立场论文中扮演了一个小角色。论点的核心是一句话：我们需要超越“基准测试（benchmarks）是衡量 AI 研究价值的唯一标准”这一现状。

基准测试带给我们的是效率。我们不必花数年时间进行同行评审——如果它打破了纪录（SOTA），我们就知道它可能是一篇好论文。但不幸的是，它缩小了社区的集体视野。我们是在“路灯下找钥匙”——我们只寻找那些在基准驱动的评估体系中容易搜索到的东西。我们需要超越这一点。这意味着评估一篇论文的好坏将变得昂贵得多。遗憾的是，这是我们必须付出的代价。而现在社区正试图冲向相反的方向。

自动化同行评审是一个陷阱

自动化同行评审具有巨大的诱惑力。恕我直言，我认为这是一个陷阱。如果我们自动化同行评审，我们本质上是将进步方向的控制权交给了 AI 系统本身。这似乎是精力的根本错配。

如果我们自动化平庸的部分，人类的时间就可以被释放出来，去更深入地思考那些需要判断力的部分。

AI 将如何改变科学？

从 AI 研究推广到整个科学研究，我们有一篇文章主张，“自动化科学”的愿景依赖于一种根本性的误解——仿佛科学的意义仅仅在于解决问题，如果我们能利用 AI 直接从问题得到解决方案，我们就实现了科学的自动化和加速。

在我们的视角中，人类的理解并不是某种需要被自动化消除的摩擦。相反，它是必不可少的。它是我们从事科学研究的核心目的。如果我们失去了人类的理解，我们就失去了所有源自它的东西。

因此，我的预测是，如果我们要增加 AI 智能体在科学中的使用，将会出现新的工具和新的角色，专门负责观察这些 AI 解决方案并从中提取人类的理解。因为保留人类的理解至关重要。

公司呢？评估作为新的知识产权

企业界的许多人都在说，评估（Evals）是新的知识产权（IP）。无需详述，这实际上是同样的现象再次上演——精力从纯粹的构建转向构建与系统评估的结合。

（注：在这篇文章中，我解释了跨职能评估团队的想法，以防止公司自欺欺人。）

精力如何从构建转向评估

如果这次演讲你只能记住一件事，那大概就是这张幻灯片。我在整个演讲中展示的是，在许多不同领域，因为可验证的任务可以由 AI 处理，部分或大部分精力从构建转向了评估。

精力从“划船”转向了“掌舵、导航以及弄清楚我们到底想去哪里”。

我认为这是一个强有力的比喻，它将允许我们预测人类角色在未来一二十年将如何转变。

关于适应 AI 的个人思考

在最后几分钟，让我谈谈我个人是如何在自己的研究工作流中应对这一挑战的——即 AI 能力迅速提升的事实——我相信你们中的许多人也在经历同样的挣扎。我认为每个人都应该选择自己的道路，但希望这里有一些有趣的想法供你参考。

我所说的“底线”（floor）是指 AI 独立能做的事情。我所说的“天花板”（ceiling）是指 AI 通过增强我们的能力所允许我们做的事情——即承担在 AI 出现之前不可能完成的宏大新项目的能力。但天花板不会自动升高。只有当我们努力向上推时，它才会升高。

我发现我每周要花大约 10 小时仅仅用于学习和尝试新的工作流，以及学习新主题。因此，一种思考方式是，AI 带来了巨大的生产力提升，而我一直试图将节省下来的时间“再投资”于长期增长，并学习新的互补技能。

我发现，如果我在一天结束时没有感到精疲力竭，那我就做错了什么。我把太多的事情甩给了 AI。为了追求短期生产力，我牺牲了太多的长期增长。

增长和生产力是我们需要学习如何平衡的三腿凳的两条腿。而凳子的第三条腿是保持控制。

以下是我尝试使用的两个启发式方法。第一是抵制“黑箱诱惑”。公司希望我们将智能体当作黑箱来使用——只需输入提示词，它就会去完成任务。我认为这是一个陷阱。我认为这非常危险，它会导致我们随着时间的推移逐渐放弃控制权。

第二点，也是相关的，是我称之为依赖螺旋的现象。使用 AI 来完成我自己还不擅长的任务是非常诱人的，因为学习新事物当然非常困难。但这会导致我逐渐失去在那项任务中仅有的一点技能。从长远来看，在利用 AI 提高生产力之前，先投入时间让自己精通这项任务要好得多。

愿景：协同超级智能

这一切都不容易，但如果我们做对了，愿景是诱人且充满力量的。

计算机常被比作灵魂的自行车。我认为 AI 可以做得更多。如果你允许我使用这个比喻，我认为 AI 可以成为灵魂的起重机，因为它能将我们的潜力放大到以前难以想象的高度。达到那里可能看起来令人生畏。它有着惊人的学习曲线。我觉得自己一直像在跑步机上，但我对此感到非常兴奋。我认为这是一个有趣的挑战，我认为这场战斗值得一打。与五年前相比，在某种程度上，我感觉……也许超级智能不是一个合适的词，但考虑到 AI 允许我承担以前不可能完成的宏大新事物，并比以前更努力地挑战自己，我觉得我拥有了超能力。

我认为，在可预见的未来，即使人工智能的能力不断提升，我们也能确保这种情况得以延续。或许在遥远的未来，这会变得无法实现，但现在就放弃努力还为时过早。我当然计划继续这项努力，并希望能致力于实现“协同超级智能”这一愿景，我也希望你们能加入我的行列。这就是我想分享的最后一点想法。