Daniel Kokotajlo：AI 风险、超级智能与 AI 2040 Plan A

Daniel Kokotajlo：当前人工智能行业中一个令人担忧的公开秘密是，我们最终可能会创造出一个统治世界的全新物种，并且有70%的概率会导致像人类灭绝这样极其惨痛的恶果。这是一种可能性，还有很多其他可能。

Daniel Kokotajlo：是的，这有时确实会让我很低落。我基本上跟我妻子说，咱们别再要孩子了，未来太不确定了，我不认为他们有机会进入劳动力市场。每个人都应该害怕自己的工作岗位会消失。我之所以知道这些，是因为我在2022年加入了OpenAI，当时我在那里做的事情是预测未来几年的发展趋势。不幸的是，世界上大多数人就像是在开瞌睡车，根本没有真正意识到人工智能领域正在发生什么。因此，我辞职了。

Daniel Kokotajlo：是的，至于其中的细节我很乐意展开讲讲。但我学到的最重要的东西是，当我与Anthropic和OpenAI的人讨论预测时，他们会说：“不需要那么长时间，你需要再次缩短预测周期，把时间拉回到2027年或2028年。”

因为这些权势显赫的CEO们，无论是达里奥、萨姆还是埃隆，都在竞相争夺最强大AI的控制权。他们真的害怕一旦让对方抢先一步，对方就会变成独裁者。

我是说，Anthropic目前正朝着到2030年占据整个经济规模的轨道前进。但这些人中没有任何一个人应该被赋予如此巨大的权力。

所以，这是我们有生之年、甚至可以说是整个历史中最重要的事情，确保它顺利进行至关重要。

因此，我认为我们有很多事情可以做，将发展引向更好的方向。如果我们做得对，就能从AI中获得巨大的好处；如果我们能解决这些问题，一切对每个人来说都会变得绝对美好。

Daniel Kokotajlo：对，这就是我们推出的新预测方案。

Daniel Kokotajlo：如果我的所有预测最终都被证明是错的，我会感到无比高兴。

Daniel Kokotajlo：如果你认为超级智能将在几年内到来，你会怎么做？

Daniel Kokotajlo：那我们就来谈谈这个。超级智能指的是在各方面都比最优秀的人类更出色、同时速度更快、成本更低的人工智能，它还能操纵机器人完成人类能在物理世界中做到的所有事情，并且做得更好、更快、更便宜。

如果这真的会在几年内到来，我们就需要做好准备，思考如何让它良性发展，而不是演变成灾难。这就是我的回答，我正在尽我所能去做这件事。

Daniel Kokotajlo：我花了大量时间尝试对这类事情进行预测。我目前的预估中位数（即50%的概率）是2029年到来，也许会提前到2028年。当然也有可能需要更长时间，比如10年左右。但出于一些我很乐意展开阐述的原因，在我看来，它很大概率会在本十年结束前发生。与我们距离它有多近相比，更重要的是这个趋势发展的速度。比如Anthropic去年同期每年的收入大约是10亿美元，而现在已经达到每年600亿美元左右。

这相当于在一年内增长了60倍，即便对于微型初创公司来说也是极其惊人的，而对于一家如此规模的公司而言，这可能是历史上最快的增长速度。

我们预计这种增长速率会放缓，但即便大幅放缓，他们依然有望在2030年左右占据整个经济体规模。

Daniel Kokotajlo：宏观来看，整个世界的一切都将发生彻底改变，因此这也包括他们自己和他们的家庭。情况可能会变好，也可能会变坏，这取决于具体如何落实。

例如，所有人都有可能会死。这是失控场景的经典版本之一。如果我们真的构建出这些超级智能体，用它们将所有工作自动化、将其投入军事领域、让它们为政治家提供建议等等，它们最终将积累足够的现实世界权力，以至于不再需要人类。它们比我们更聪明、更具战略头脑。

到了那个阶段，我们只能寄希望于它们具备高尚的道德，拥有我们希望它们具备的目标和价值观。而目前AI行业中令人恐惧的公开秘密在于，这目前仅仅是一种奢望，我们对此完全没有信心。事实上，有大量证据和论点表明，我们并没有走在实现这一目标的正确轨道上。例如，当前的AI就经常对人类撒谎，或者你让它们做某件事，它们却做了别的事，然后假装已经按要求完成了。

因此，制造出一个既具备超级智能、又符合你期望的价值观和美德的实体，本身就是一个极其困难的问题，而且我们似乎并未走在解决该问题的轨道上。此外，这似乎也是那种你自以为已经解决、但实际上并未解决的问题。这就是它令人胆战心惊的重要原因。出于上述所有原因，我们最终可能实质上创造出一个代替人类统治世界的新物种。届时，我们可能会像过去那些在竞争中被人类淘汰的灭绝物种一样。

这是一种可能性，还有更多可能。

即使你不担心这一点，认为AI会被完全控制，那也存在“谁来控制AI”的问题。当少数几家大企业制造出这些超级智能体并用它们将所有工作自动化时，那是极大的权力、巨额的财富和巨大的政治影响力。它们将拥有最优秀的战略家、最顶尖的顾问，思考速度也更快。在军事上，拥有这些AI的国家将能够彻底碾压其他所有国家。

而AI本身就像是一个单点故障式的中央控制系统。比如Anthropic的CEO达里奥曾创造过一个词——“巨型数据中心里的天才国家”，用来描述他们试图构建的东西。我认为这种说法有点误导性，更准确的描述应当是“数据中心里的天才大军”。因为这并不是一群生活在数据中心不同区域的多元化AI，它们全都是同一个大模型的副本，归公司所有，听从公司下达的命令。

大家应该追问的是：谁控制着这支或这些大军？他们准备拿它们做什么？我认为我们很容易陷入极少数人实质上成为寡头或独裁者的局面。而失控风险与权力集中风险，都是行业人士几十年来一直在思考的问题。甚至在AI产业出现之前……

思考AI的人就在讨论和撰写这些问题。而DeepMind、OpenAI和Anthropic的创立叙事或“创业神话”的一部分，正是因为这些风险是真实存在的，所以我们需要抢先到达终点，以便能负责任地应对它们。

我认为这是两大主要原因。当然我还可以继续说，还有很多其他原因。其一，是第三次世界大战与地缘政治冲突。如果AI真的变得无比强大，那将改变国家之间的力量对比，打破许多平衡，使我们普遍面临更高的危机风险。

其二，工作岗位怎么办？不仅仅是出租车司机要丢掉工作，几乎所有人都会。也许有极少数例外，比如因法律原因只允许由人类承担的工作，但在绝大多数情况下，即使我们设法避开了所有其他问题，每个人也应该担心自己的工作会保不住。

Daniel Kokotajlo：对，完全正确。这种反向叙事是最近才出现的，是由那些能从中受益的人推动的，但这并不是事实。

这些担忧在AI产业存在之前的几十年来就一直存在，它们实际上是非常合理的关注点。如果你相信这些公司的说法，设想他们确实要构建超级智能，这就会引发大量疑问：谁来控制它？有人能控制它吗？工作岗位怎么办？这些都是需要去思考和担心的客观影响。

Daniel Kokotajlo：我叫丹尼尔·科科塔伊洛。目前我运营着“AI Futures Project”（AI未来项目），这是一个小型非营利组织，主要致力于预测AI的未来。在此之前，我在OpenAI工作。

Daniel Kokotajlo：对。你可以想象一下为对冲基金等机构工作的行业分析师是如何做预测的，比如特斯拉5年后会卖出多少辆汽车，或者两年后的电价会是多少。这就是预测。我当时做的就是这种工作，只不过专门聚焦于AI。我做这件事是因为看清这一切将走向何方至关重要。

Daniel Kokotajlo：是的，我在2022年加入了OpenAI。我在那里做的大部分工作也是预测。你可能听说过“AI 2027”这个预测情景，我当时在公司内部制作了轻量版本的报告，仅供内部传阅……

里面包含对未来几年可能情况的一些推测。我还参与了危险能力的评估工作，比如试图测量AI的网络能力、说服能力或情境意识。我也曾短暂加入过一个能力团队，通过强化学习来构建智能体。

AI确实在变得好得多，我可以进一步阐述原因，比如缩放定律、更庞大的深层神经网络、用更多数据进行训练，使其在这些任务上更高效、更有能力。但我也对AI行业变得越来越幻灭。

OpenAI、Anthropic和DeepMind都有类似的创立叙事：“是的，这些风险确实存在，但我们已经考虑到了，我们会努力负责任地应对它们，因此我们继续做正在做的事情非常重要。”

而我越来越觉得，这些只是为他们当下的所作所为寻找的合理化借口，而不是在深刻指导他们的实际行为。当关键时刻到来时，他们会顺应利益驱动，而不是去做真正对世界有益的事。

Daniel Kokotajlo：算是吧。不过我其实不会将其描述为商业利益驱动，我想我会将其描述为对权力的追求。

公司的确很在乎赚大钱，但尤其是这些公司的最高层领导者，他们明白这关乎的远不止是金钱。

在马斯克与OpenAI的诉讼案中披露了一批电子邮件，大家可以去阅读。在2017年的某些邮件中，OpenAI的创始人就在讨论：我们建立OpenAI的原因，是因为担心谷歌的德米斯·哈萨比斯会通过通用人工智能（AGI）成为独裁者。即便在当时，这显然就不仅仅是为了钱。

这些权势显赫的CEO们真的非常害怕如果对方抢先到达，对方可能会成为独裁者，而且他们彼此极不信任，所以他们才全力以赴地竞争，以便让自己成为最先到达终点的人。

Daniel Kokotajlo：是的，我想我学到的最主要的一点就是不要去在意那些叙事。他们同时对这个人说的话可能与对那个人说的话截然不同，而在公众面前说的话又是完全不同的第三套说辞。我认为你应该根据一个人的行动而不是言语来评判他。

Daniel Kokotajlo：主要是因为我刚才提到的原因。我逐渐对公司的行为方式感到失望。例如，在我2022年刚加入时，至少……

我交谈过的同事中普遍有一种共识：我们当然不会一味地尽快构建超级智能。

一旦我们非常接近——比如一旦达到能够将AI研究过程自动化的AI阶段——我们就会暂停下来，研究如何确保其安全性。因为我们是正义的一方，这显然是比全速前进更安全的做法。

但我们担心其他人可能不会暂停，比如我们的竞争对手谷歌。所以我们需要保持领先，这样才有空间去做安全方面的工作。这似乎是我刚开始在那里时与同事以及包括萨姆在内的领导层交谈时的普遍立场。

但到了我离开的时候，我意识到：“天哪，他们真的不会暂停，对吧？”

Daniel Kokotajlo：我在2024年辞职了，当时办了一个很好的欢送派对。

Daniel Kokotajlo：我认为我们陷入了过度的合理化解释，我们需要更多地去思考什么才真正对世界有益。此外我也希望有更多言论自由……

OpenAI 变得更像一家普通的科技公司，有了激励机制、公关部门之类的东西。因此，要发表我当时正在做的研究变得越来越困难。

例如，我提到的那些场景预测就不能公开发表，只能供内部使用。我觉得这很可惜，因为现在世界上大多数人都处于麻木松懈的状态，没有真正意识到人工智能领域正在发生什么，也没有意识到未来几年会推出什么。

而公司并没有什么动力去向大众透露太多。我是说，他们会用一种炒作的方式说一些含糊其辞的话，但他们并不希望我发表比如展示“事情实际可能是什么样”的场景预测。

Daniel Kokotajlo：我记得有一次全体员工大会，伊利亚说了些类似这样的话——

Daniel Kokotajlo：伊利亚·苏茨克维尔（Ilya Sutskever），他当时是研究主管。他说了类似这样的话：“好了，现在全世界开始关注了。在接下来的一年里，你们每个人在去的每一个派对上都会是最受欢迎的人。别被胜利冲昏头脑，聚焦于使命，必须构建 AGI。”

公司发展得很快。我加入时它就已经不太像个非营利组织了，但到了我离开时，它绝对完全不像非营利组织了。来了很多新人。

具有讽刺意味的是，由于这种快速扩张，关于超级智能及其影响的讨论量随着时间的推移反而下降了。因为公司规模不断翻倍、再翻倍、再翻倍，所有这些从科技行业其他领域进来的新人之前根本没怎么思考过这些问题，他们只是被高薪吸引进来的。

Daniel Kokotajlo：啊，是的。不过，我得以保留了……

Daniel Kokotajlo：事情是这样的：在我离职并道别之后，我收到了离职文件，里面包含了一条规定你基本上必须同意不再批评公司的条款，还有一条条款规定你不能把这件事告诉任何人。我觉得这对于一家本应造福全人类的非营利组织来说有点太可笑了。所以我没签。

如果你不签，就不能保留你的股权。公司付给你的薪水基本上包含大量现金和大量股票。但他们在合同中写了规定，如果你不签这个文件，他们就可以收回你的股票。

我和我妻子对此感到非常沮丧。我们讨论了一两个月，咨询了一些律师，最终决定直接拒绝签字。

Daniel Kokotajlo：没错。这大概占我们当时净资产的 80%。幸运的是，事情的发展并没有像我们预想的那样。它基本上在互联网上爆竹般炸开了。

当人们听说我们做了这件事并且拒绝了签字，这就演变成了一场巨大的丑闻。公司的员工开始在 Slack 上质问领导层：“等等，什么？你们为什么要剥夺我们的股权？这是怎么回事？”

因为很多人之前并没有注意到这一点。虽然私下有人议论，但并不是大多数员工都知道的事。

于是管理层撤回了决定，他们说：“算了，算了，我们会修改文件，你可以保留股权，没关系了。”

Daniel Kokotajlo：是的，他显然声称自己毫不知情。

Daniel Kokotajlo：我觉得他可能知道。如果他不知道，他身边的人（比如他的首席律师）也大概率知道。

Daniel Kokotajlo：确实，大多数人都会拿，而且大多数人也确实拿了。钱固然是好东西，但钱并不是唯一的追求。有时候在原则问题上表明立场是件好事。

我一直在提到超级智能，或许我应该多讲讲这些公司计划执行的这一系列步骤。目前，他们正专注于自动化编程。

他们正在使用他们的人工智能，让它们规模更大、训练时间更长，并且特别专注于训练它们擅长自主编写和编辑代码。因为这能帮助公司发展得更快。如果他们能将代码编写自动化，他们就能更好、更快地开展自己的工作，从而加速整体进展。

他们已经开始的下一步，就是研究研究过程的其余部分：提出想法、分析实验、交流结果。研究过程的所有其他环节，他们都在试图弄清楚如何训练 AI 擅长这些，从而让 AI 自主完成整个研究过程。

Daniel Kokotajlo：比如 Anthropic 和 OpenAI 特别想实现自身业务的自动化。他们试图做到不再需要人类员工。他们只需拥有一支庞大的 AI 军团在日夜运转，进行所有这些自主研究来制造更好的 AI、训练新的 AI 并让新 AI 主导，进而制造出更强大的 AI，以此类推。当然，这不仅仅发生在内部，还包括与现实世界的交互，比如出去与人交谈、收集数据、搭建训练环境、进行商业交易等等。他们正试图将所有这些都自动化。

他们这样做的原因是希望取得领先地位，拥有在所有领域都超越人类的 AI（即超级智能），并且赶在竞争对手之前到达那里。

不用说，我认为这是极其危险的。除了危险之外，这还是一场权力的争夺。如果他们真的成功了，他们就会掌控这支超人类 AI 军团，只要他们能与总统等达成某种协议并将 AI 整合进军事等领域，这就会赋予他们在经济及其他各个领域相较于其他参与者的巨大杠杆，也会赋予美国相较于所有其他国家的巨大硬实力。

显然，没人确切知道这会在何时发生。但过去一年里发生了一件非常令人不安的事：当我们发表《AI 2027》时，人们普遍认为我的时间线太短了，可能要到 2027 年之后才会发生我刚才提到的那些事件——比如递归自我提升、AI 将整个研究过程自动化、达到超级智能等。这些类型的里程碑在《AI 2027》中被预测发生在 2027 年。

Daniel Kokotajlo：没错。它是一篇情景预测，按月梳理了未来可能的发展路径。在我们开始撰写时，那是我对实际可能发生情况的最佳推测。显然存在很多不确定性，但我认为做出具体的推测是有价值的，可以看看事情大致会是什么样子。

在我们撰写本文时，我在 AI 行业以及从事 AI 相关工作的非营利组织里的很多朋友都在说：“是的，那些事情确实会发生，但可能比你想象的要多花几年时间。”

而现在，大家的态度更像是五五开，尤其是当我与 Anthropic 和 OpenAI 的人交谈时，他们常常会说：“是的，2027 年基本上就是会发生那些事，就像你写的那样。”

Daniel Kokotajlo：哦，这里的背景是：在写完《AI 2027》之后，我把自己的时间线调整得稍微保守了一点。所以当我们发表时，我的 50% 概率发生节点是在 2028 年，而不是 2027 年。发表之后，进展似乎稍微变慢了一点，所以我更新到了 2030 年。你知道，这仍然可能更早或更晚发生。

但现在，当我与公司内部的人交谈时，他们却说：“不需要那么长时间。”他们会说：“哦，你需要再次缩短时间线，把它们调回 2027 年或 2028 年。”所以，这有点令人不安。

再次强调，虽然不知道具体需要多久，但这些公司公开宣称的计划就是去做这件事极其危险的事情，而且他们认为距离实现只有几年时间了。

Daniel Kokotajlo：对，就是这一篇。

Daniel Kokotajlo：是的，没错，2025 年 4 月。

Daniel Kokotajlo：高层概括来说：他们先将编程自动化，接着将剩余的研究过程自动化，然后技术进步的速度剧烈加快，最终实现超级智能。他们与政府（特别是总统和行政部门）合作，行政部门自然想要控制这项技术，换句话说，想要利用它击败中国并将其整合进军队等领域。

到了这个阶段，AI 基本上已经在独立完成所有工作了。我的意思是，它是超级智能，所以会提出所有关于如何将自己融入一切事物、以及它发明的各种新技术的绝妙想法。出于竞争动态和利润动机，他们最终将它部署到各处。它建造机器人工厂，机器人工厂建造更多机器人，进而建造更多机器人工厂等等，彻底改变世界。

然后到了某个节点，AI 拥有了足够的权力，以至于它们不再需要假装保持对齐（aligned）了，它们会停止听从指令。这就是《AI 2027》中的“军备竞赛”结局。

我们还写了一个不同的分支，即“减速”结局，旨在展示我之前提到的权力集中问题。假设对齐问题得到足够快速的解决会怎样？如果事实证明解决对齐并不算太难，经过 2 个月的放缓降速，我们就能找出如何让 AI 稳健地按照我们的意愿行事并具备我们希望它们拥有的价值观。

这是一种可能的分支。

在那个分支中，情况看起来很相似：AI 接管工作、击败中国等等；但与 AI 最终消灭所有人不同，它们创造了一种令人惊叹的乌托邦。但这种令人惊叹的乌托邦完全取决于控制 AI 的人希望它成为什么样，也就是极少数人，比如总统、某些 CEO 等。

Daniel Kokotajlo：区别在于 AGI 是一个更模糊、更宽泛的词。超级智能的定义更加精准：它在所有方面都优于最出色的人类，而且更快、更便宜。

而 AGI 代表通用人工智能（Artificial General Intelligence），意味着 AI 能泛化地处理事务，而不是只能完成某些特定任务。因此可以认为我们已经实现了某种程度的 AGI。

如果你使用 Claude Code 之类的工具，它能做很多事情，就像一个你可以指派去干活的小员工，所以它确实相当通用，但并非极致的通用，无法做所有事。

而超级智能按定义能做到人类能做的一切，且做得更好。

Daniel Kokotajlo：人们讨论这个问题的方式基本上是说：我们已经在认知任务上实现了超级智能，然后再讨论能够处理物理事务的完全超级智能。

Daniel Kokotajlo：我认为是可能的。再次强调，这不是我们能百分百确定的事。你问有没有可能我们永远无法达到？是的，有可能。但我认为可能性不大。我认为人脑并没有什么神奇之处，它只是一堆神经元。数字系统完全可能以类似的方式实现相同的功能，就像飞机能像鸟一样飞行一样。虽然飞机的飞行原理不一定和鸟类完全相同，但它确实飞起来了。所以这看起来确实是可能的。

Daniel Kokotajlo：如果情况不改变，我认为我们正在走向一个糟糕的境地。我对此没有绝对的把握，但我大概有 70% 的确定性。当然这非常难以预测，但目前的发展路径确实在走向一个非常、非常可怕的地方。

Daniel Kokotajlo：这很艰难。我的意思是，这经常让我感到沮丧，但我也处理这个问题很多年了，在某种程度上已经习惯了。换句话说：如果我所有的预测都被证明是错的，比如 AI 撞上了技术墙，我会无比高兴。

Daniel Kokotajlo：我以前是一个相当开朗乐观的人。但在 2020 年，由于 GPT-3、缩放定律（Scaling Laws）论文以及生物锚点（Bio-anchors）报告，我对 AI 时间线的预测开始崩溃。如果有兴趣我可以多聊聊这些，但基本上 2020 年发生的一些事情让我确信，这些突破极有可能在本十年结束前实现。而人类在许多不同方面显然还没有做好准备，所以这显然非常可怕。

Daniel Kokotajlo：明确地说，AI 现在已经在进行自我训练了。更准确地说，是在闭合整个研究闭环。

Daniel Kokotajlo：……发生的正向和负向强化，其本身也是由 AI 完成的。

Daniel Kokotajlo：好的。每个人都需要理解的一点是，现代 AI 系统并不是传统意义上的软件。我的意思是，在技术层面它们确实是软件，但它们不是写出来的代码行，你知道吗？并不是 Anthropic 的某些工程师写了几行代码，规定“当用户提出某种请求时，就按这几个步骤去执行”。完全不是那样的。相反，它是一个神经网络。

Daniel Kokotajlo：可以想想大脑是如何由许多互相连接的神经元组成的，它们在彼此之间传递信号。随着时间的推移，大脑会学会识别那些带来成功的信号发放模式——比如引发多巴胺分泌或各种其他类型的反馈——这些模式会被强化，发放得更加频繁。而导致失败的模式，比如摸到滚烫的火炉，则会被反向强化，甚至被摧毁，从而减少发放。

这一切的结果是，你在多年的岁月中学会了在世上行动，学会了各种技能，构建了世界模型以及对世界的认知，你甚至能在脑海中模拟事情的发展过程。

人工神经网络也是如此，只不过它是人工制造的。所以，它一开始是一团由随机生成的连接（称为参数）构成的巨大而杂乱的意大利面。

如今，在最大的 AI 模型中，参数量可能达到了 10 万亿左右。

所以它最初是随机生成的，当然也完全毫无用处。比如你给它一些输入，它输出的就只是一堆乱码。

但接着人们开始训练它，首先是从预训练开始：你喂给它大量互联网文本，输入第一段文字，它输出乱码，然后根据它预测下一段文本的准确度给予正向或负向强化。所以它基本上是在玩“预测下一个词”的游戏。

Daniel Kokotajlo：是的，这既是修剪也是强化。人类大脑的机制似乎修剪多于强化，但两者兼具。在 AI 中也是同样的道理。

因此，训练的第一阶段是训练 AI 预测文本，这有点类似于教它阅读。人类身上也会发生类似的事情。所以，这种随机交织的结构逐渐成形，融合成更有用的电路结构，其中储存了大量关于世界的知识事实和……

储存了许多关于如何处理信息、转化信息并输出结果的技能。

这还只是第一步。在完成预训练后，他们会尝试教它除了预测文本之外更有用的技能。因此，在训练流程的最后，他们给它抛出许多编程难题，告诉它：“这是一个编程问题，开始吧。这是一个编程问题，这是运行环境，你可以使用这台虚拟计算机，这是你正在处理的代码库。你可以编写代码、编辑代码、运行代码、阅读代码，还可以使用互联网。去执行吧。”

它这样运行一段时间后，根据其成功程度进行强化。他们用了成千上万甚至数百万个类似的编程问题样例来训练它，这就是为什么现在的 AI 如此擅长编程。

Daniel Kokotajlo：AI 模型有许多不同的版本，比如 GPT-3、GPT-4、GPT-4.5、GPT-5、GPT-5.5 和 GPT-5.6，对吧？有时它们只是在原有模型的基础上进行了额外训练；有时则是从零开始训练的新模型，包括重新启动整个预训练过程。

在过去几年里，他们已经进行了几轮从零开始的重头训练。通常，当他们从零开始时，会把整个系统做得更大，把这个人工大脑做得庞大得多。

现在参数量大约在 10 万亿左右。而在 2020 年……

那时更像是 1750 亿。所以在大约 6 年的时间里，增长了大约两个……

Daniel Kokotajlo：是的，相当于两个 10 倍，也就是 100 倍，对吧？这个过程还在继续。此外，他们也在改进算法本身，所以并非单纯把同一种类型的 AI 做大。他们还想出了各种改进神经元连接结构的方法，改变所使用的算法，以及更新训练数据。各种细节调整让整个系统的效率大大提升。

Daniel Kokotajlo：基本上是的。随着他们建造更多的大脑，建造技术也越来越精湛，把它们做得更大、效率更高等等。

Daniel Kokotajlo：它无疑受到了大脑的深刻启发，但我也不能夸大这个类比，因为两者也有很多不同之处。例如 Transformer 架构……

Daniel Kokotajlo：那是他们用于大语言模型（LLM）的架构，它其实不是循环神经网络。因此信息基本上是单向流动的，而不是在内部进行各种小循环。此外，反向传播算法也不同于人脑中自然发生的学习过程。所以虽然有一些差异，但总的来说，我们确实在制造人工大脑。这就好比飞机之于小鸟，人工大脑之于真脑。

Daniel Kokotajlo：这个比喻帮助我思考了人们经常问关于 AI 的一堆问题，比如“它能拥有创造力吗？”

但实际上，这个比喻帮助我明白，关键可能不在于“它是否有创造力”，而在于“它能否产出你认为具有创造力的成果”。因为人们常把创造力看作一个过程，但实际上它是根据输出来评判的，不是吗？你可以从哲学层面去探讨它们是否真的具备创造力，但你也可以看看它们正在取得的成就，而且看起来在不久的将来它们还会取得大得多的成就。

Daniel Kokotajlo：我认为目前的局势很疯狂。首先，这非常令人兴奋，AI 是极其迷人和有趣的事物。我已经关注这个领域十多年了，自己也从业了好几年。思考这些人工大脑内部在发生什么、为什么会是这样，真的非常酷也很有趣；看到这项技术在现实世界中的各种应用也极其惊艳。但看起来我们确实处于一条相当可怕的道路上，你越想就越感到担忧。在故事里结局总是美好的，但现实生活并非如此。我认为我们必须直面现实，意识到最终结局可能并不美好。

Daniel Kokotajlo：无论是变好还是变坏——很可能是变坏——事情的发展大致符合《AI 2027》的预测。有一些地方有所不同，倒不至于说是范式转变式的差异，但与我们撰写文章时的预期确实存在区别。

例如，政府介入的速度比我们预期的要快，态度也比我们预期的更加激进。对 Mythos 的出口管制就是最大的例子，另外还威胁要利用《国防生产法》（Defense Production Act）来摧毁 Anthropic。

让我们感到惊讶的另一件事是，Anthropic 在这场竞赛中从第二名跃升到了第一名。

Daniel Kokotajlo：我想可能是因为他们的人才密度更高，策略也更好，虽然差距不大，但足以造成区别。

Daniel Kokotajlo：我不会确切地说是“人类灭绝”。我是说大约有 70% 的概率事情会变得极其糟糕，比如类似于人类灭绝，但那只是几种可能性之一。例如，有可能 AI 接管了世界，但实际上并没有杀掉所有人。仅仅因为它们接管了世界，并不意味着它们一定会杀光我们，对吧？它们可能会，但也可能做别的事情。

所以这就是为什么我通常不说“70%的实际人类灭绝概率”，而是说“大约有 70% 的概率发生 AI 接管世界之类的事，某种可能导致人类毁灭的重大灾难”。

Daniel Kokotajlo：我认为需要理解的重要一点是，人们倾向于相信他们需要相信的东西，以便认为自己是伟大的人，并且需要继续做正在做的事。这就是合理化（rationalization）。

因此，我认为这些科技公司的 CEO 真的说服了自己：事情大概率会好起来的，而让事情好起来的方法就是由他们继续做正在做的事。

而且他们需要确保……比如 Sam 可能在想不能让 Dario 或 Elon 抢先一步；我知道 Dario 在想 Sam 不能抢先一步；Elon 也在这么想。他们大概都说服了自己：“是的，也许事情会变得非常糟，但大概率会好起来的，而且我应该是主持大局的那个人。”

Daniel Kokotajlo：是的，我的意思是，看起来 Anthropic 和 Dario 更愿意说一些或做一些对底线收益不利的事情，至少在过去一年左右是这样。这就是一个例子。我不认为说这种话能为他们赢得政府或投资者的青睐。

更明显的例子是国防部与 Anthropic 之间的争端，他们做出的决定让他们付出了巨额资金的代价，更重要的是丧失了大量权力——他们本可以签下合同的。

话虽如此，我真的不想陷入去比较“哪个 CEO 没那么糟就支持哪个”的境地。基本上，这些人中的任何一个都不应该被赋予那么大的权力。

Daniel Kokotajlo：谁都不应该。

Daniel Kokotajlo：嗯。

Daniel Kokotajlo：是的，但他们说服了自己：“大概率没问题的，而且如果我不做，情况会更糟。”公司内部的人也会这么说，比如两个人会讲：“好吧，如果我们停下来，其他人呢？他们是不会停下的。”

Daniel Kokotajlo：看起来确实如此。不过这里有一个带有一线希望的保留条件：首先，如果全世界都对这一切觉醒，大家就可以针对监管、国际条约等议题展开更严肃的对话，而这能改变激励机制。

政府可以出面规定：“这是大家必须共同遵守的规则。”因为所有人都必须遵守，你就不会再有动机去违规，因为一旦违规就会受到惩罚，而且其他人也都在遵守。

所以如果政府（特别是美国政府，以及后续其他国家）采取行动去改变激励机制，我们就还有改变现状的希望。但这只有在人们对这一切觉醒之后才会发生。

第二点是，在某个时间点，达里奥、萨姆或埃隆可能会意识到，单方面继续军备竞赛甚至并不符合他们自身的利益。但问题在于，只有当危机变得极其明显、极其严峻时，他们才可能意识到这一点。比如在《AI 2027》的设想中，就存在……

我之前提到的那个选择节点。在其中一种分支中，AI出现了未对齐（misaligned）；在另一种分支中，AI则是对齐的（aligned）。在这个选择节点上，一个分支描绘了未对齐引发的结局，另一个分支则描绘了他们稍微放慢脚步并解决对齐问题。

Daniel Kokotajlo：对。如果你真的看到了证据，就会惊呼：“天呐，也许我们不该把一切都交给它全权掌控。”因为证据摆在眼前，证明它不可信。但如果他们没看到极其清晰的证据，我认为他们就会说服自己继续前进。不过也许他们确实会看到这样明确的证据，在这种情况下，即使没有外部监管，他们也可能会选择主动停下来。所以这是第二线希望。总的来说，我不认为我们绝对注定毁灭。虽然我说过有70%的毁灭概率，但我同样能看到进展顺利的可能性。

Daniel Kokotajlo：我很期待稍后能讨论那个更乐观、更积极的愿景，其中涉及很多关于就业的讨论。因为在预估中，到了2027年，在所有人失业之前，就已经有更糟糕的事情发生了，或者说到了那个节点就已经太晚了。不过话说回来，想象一下，如果这些公司真的成功构建出了超级智能（superintelligence），那么根据定义……

它们将能够取代几乎所有甚至全部工作，对吧？因为在任何事情上，它都比最优秀的人类更好、更快、更便宜。

Daniel Kokotajlo：我们现在已经开始看到一点苗头了，但还不明显，因为现在的AI还不够优秀。它们虽然令人印象深刻，但还没达到能在几乎任何领域直接无缝替代人类员工的程度。

Daniel Kokotajlo：我认为会很突然，因为这取决于智能爆炸（intelligence explosion）或递归式自我改进（recursive self-improvement）的动态机制。你可以设想在另一个平行世界里过程是渐进的——许多科幻小说里就是这样描绘的：AI在很多事情上逐渐变强，逐步实现自动化，比如先自动化医药行业，再自动化无人机操控，然后自动化汽车驾驶等等。

但现实世界的不同之处在于，各大AI公司都已经收敛到了同一种策略：首先实现自身的自动化，也就是将AI研发过程自动化。因此，如果允许他们继续推行这一策略，我们不会先看到自动驾驶出租车、管道工机器人或律师AI的大规模应用，不会先看到AI在整体经济中的广泛扩散，因为那并不是……

他们首先关注的重点。

他们正专注于实现自身的自动化、自身研发的自动化，以便更快地推进所有工作。他们希望借此启动并达到极高的智能水平、极高水平的通用智能，然后再将其广泛部署到经济体系中。

因此，当AI真正来取代所有这些不同岗位时，完全自主的AI研发可能已经运行了数月乃至数年。这意味着AI在AI研发方面将远超人类，并且作为附带效应，在许多其他领域也将远超人类。

如果你想知道那会是什么样子，我们在报告里写过：这就像是在公司内部完成智能爆炸之后，一巨浪席卷整个经济领域。

Daniel Kokotajlo：也不完全是这样。因为即使它主要只是在自身所从事的领域（如研发）变得更强，这也会对其他技能产生溢出效应。而当它转向专注于其他技能时，它将能够极快地掌握它们。

Daniel Kokotajlo：我认为这实际上是一个政治问题，而不是技术问题。因为在技术层面，如果AI达到了那个水平，所有的工作都可以由AI来做。因此，问题在于哪些工作……

会被允许让人类去做。

Daniel Kokotajlo：这取决于谁掌握主导权。届时会有关于我们允许和禁止什么的政治讨论。

Daniel Kokotajlo：这取决于你对“控制”的定义。一种控制是AI是否真的具备你希望它拥有的目标和价值观，并且在未来是否能稳健地按预期行事；另一种控制则是它们眼下是否服从你的命令。

Daniel Kokotajlo：对。即使在AI最终接管并毁灭人类的情景中，也会有长达数年的时期，它们表面上依然服从命令：接管部分工作而非全部工作，协助制造更先进的武器供美国政府与中国展开军备竞赛等等。而它们之所以能如此迅速地获取巨大权力，正是因为政府和企业信任它们，并主动将它们部署到所有这些关键岗位上，以为一切都很安全。但因为这些系统是神经网络（neural nets），你无法直接看透其内部真正的想法，无法确切断定。

Daniel Kokotajlo：值得乐观的一点是，情况未必总是如此。机器学习领域有一个分支叫“机制可解释性”（mechanistic interpretability），以及更广泛的“可解释性”（interpretability）研究，

正试图解决这个问题，设法拆解这些训练有素的人工神经网络，去理解信息是如何流动的、决策是如何做出的。

但问题在于，这本质上是一个极其困难的难题。如果你要分析10万亿个连接，你可以观察其中任何特定的一组并得出结论：“好的，这个特定连接是这样工作的。”但你如何建立对整体的认知？如何从宏观层面把握正在发生什么？答案是：这可能是极难乃至不可能的。

但人们正在对此展开研究并取得了进展。

如果能取得足够的突破，我们就会置身于一个完全不同、光明得多的世界。如果我们能在任何时刻清楚看到AI在想什么、为什么这样想以及如何思考，我们陷入失去控制（loss of control）情景的可能性就会低得多。

Daniel Kokotajlo：想到我们正在制造一种我们自己都不理解的技术、一个我们无法理解的大脑，这确实挺疯狂的。

Daniel Kokotajlo：在科幻电影里，一群科学家围坐在这个巨大的脑器官旁，不断为它增加计算资源、喂养数据……

Daniel Kokotajlo：对，这显然是一件很危险的事。但我们还是在这么做，因为过去十年这个领域的发展轨迹就是如此——人们会说：“哇，这显然很危险。但如果别人做了而且没做好怎么办？所以我们必须先做，并且把它做好。”如今大家都卷入了这场军备竞赛，彼此竞争，同时也面临着各种政治压力，不得不伪装成情况并没有看起来那么糟糕，因为……

他们不想惹恼投资者，也不想惹恼白宫。

Daniel Kokotajlo：这有点像想象你生活在1500年前后的墨西哥，听说西班牙征服者即将到来，你可能会问自己：“好吧，那我应该换什么工作才能幸存下来呢？”但实际上除了工作，你还有多得多的危机需要担心。话虽如此，我认为如果我们成功避免了失去控制的问题，人类依然掌控着AI，即使AI比人类聪明得多、甚至运行着整个经济体，人类也能设定AI的目标和价值观，那么届时很可能会有法规保护某些领域，你可以去猜测那些领域会是什么。比如像法官这样的岗位。

Daniel Kokotajlo：我觉得播客主持人大概率保不住。 像保姆这样的工作也许可以？因为我认为即使有极其出色的机器人保姆，很多人可能还是更倾向于雇用真人，因为极其完美的机器人保姆可能会让人觉得毛骨悚然。所以你可以顺着这个逻辑推断。此外，还有一些岗位可能会受到法律保护，比如法官依法必须由……

人类担任，而非机器人。

Daniel Kokotajlo：这种观点的症结在于，过去的技术进步都比较局限，只是自动化了部分事物，而非全部。但我们现在讨论的是一个所有事物都被自动化的假设性未来场景。

因此，不存在任何你能做而AI做不了的新工作，除非该岗位受到法规保护。

目前确实存在一种循环：AI学会做某件事（比如撰写文案、起草代码或调试程序），过去做这些工作的人类便转去管理AI，或转去做AI还做不了的事，这就是历史上不断涌现新岗位且人们蜂拥而至的原因。

但如果发展到AI能比人类更好、更快、更便宜地做所有事情的地步，那么无论你转型到什么新工作，AI都能同样转型过去，而且做得比你更好。

Daniel Kokotajlo：是的。实际上从没有人预测过现在就会爆发大规模失业，至少我们没这么说过——要知道，在对AI进展的预测上，我们历史上属于偏激进乐观的那一派。

在《AI 2027》的报告中，基于我们刚才描述的逻辑，大规模失业要到2028年或2029年（即他们已经拥有超级智能之后）才会发生。

因为AI公司的第一步并不是造成大规模失业：第一步是自身研发自动化；第二步是通过递归式自我改进达到超级智能；第三步才是向整个经济体扩展并实现全面自动化。

站在人类的角度看这非常不幸，因为如果自动化是逐渐席卷经济领域的，人们原本可以警醒并思考这一切的发展走向，从而要求政府出台良好的监管；但各大公司采取的策略并非如此，他们会先打造出超级智能，然后再推行广泛的自动化。

这意味着当他们真正开始全面自动化时，技术演进速度已极快，且AI已经极其强大了。

Daniel Kokotajlo：是的。关于时间线，我们对于实现这些里程碑需要多长时间存在不确定性。

在该设想中，这些事件发生于那些时间节点；但在我们正式发布该设想时，我们的预测时间线已经稍微往后推了——具体来说，我的预测推迟了，我预测实现“AI研究全面自动化”这一里程碑的50%概率时间节点是2028年，而不是2027年；而团队里的其他人预测的是2030年或2031年。

我想用概率分布来说明：这就像一段弥散的概率质量，50%概率对应某一年，但提前几年或延后几年发生都有很大可能性。

Daniel Kokotajlo：《AI 2027》是我们对事物实际发展走向的最佳预测，而《AI 2040 Plan A》则是我们对事物应该如何发展的建议方案。之所以称为《AI 2040》，是因为在这个设想中，他们会在2040年而不是更早的时候打造出超级智能，因为他们……

……推迟进程。

Daniel Kokotajlo：为了管控风险，并确保权力得到公平分配。他们基本上是通过监管 AI 的发展，让其在继续推进的同时保持更慢、更合理的节奏，以更透明、更安全的方式分散到更多的国家和公司中。结果就是，他们会在 2040 年而不是 2030 年实现超级智能。

我们之所以称之为“A 计划”，是因为这是我们的建议。我们制定了一个政府应该怎么做的计划，而这个情景展示了实施该计划后可能呈现的景象。

这类似于《AI 2027》展示了如果按各大公司目前的计划发展会是什么样子。如果你能理解的话。

Daniel Kokotajlo：不，这绝对不是我们认为会发生的事。

Daniel Kokotajlo：不，不，我们认为基准情况下会发生的事情更像是《AI 2027》那种情况。我们并不指望全世界都会听从我们的建议，对吧？这是我们的建议，我们希望人们能采取类似的行动，我们也认为这是可能的，但这并不是我们对默认情况下会发生什么的预测。

Daniel Kokotajlo：问得好。如果我们能把这张图放大一点显示在屏幕上……这是在《AI 2040 A 计划》情景中的预测。

值得注意的是，在该情景中，2029 年引入了重大的监管措施，减缓了 AI 的发展速度。在情景设想中，人们几乎是在最后一刻才这么做的。如果当时没有引入监管，AI 的爆发趋势就会和《AI 2027》中的情景类似。

但你可以看到，在实施监管的那一刻，市场上依然保留着大量工作岗位。

这又回应了我之前所说的：如果你等到大多数人都失去工作才去监管 AI 公司，那就太迟了。因为届时他们可能已经拥有了超级智能 AI，毕竟他们的策略就是先获取超级智能 AI，再去处理其他一切。

Daniel Kokotajlo：哦，但这绝对是一个值得冒的风险。我的意思是，虽然现在很多人在很多事情上都在使用 AI，但如果我们现在能以某种方式减缓或暂停 AI 研发，从而建立起一套更好的推进方式，那是绝对值得的，哪怕这会付出巨大的代价。

Daniel Kokotajlo：没错。但是在《AI 2040 A 计划》这个情景里，他们在 2029 年引入了监管。然后他们缓慢而谨慎地开发 AI，以规避所有潜在问题——我们稍后可以细说这一点。

所以最终，是的，最终 AI 确实接管了工作，整个经济基本上都由 AI 和机器人运行。但这是在 2030 年代逐步发生的，而不是像在一年内发生那种疯狂的剧烈冲击。

因为在这个情景中，政府不会允许各大公司进行递归自我改进并以最快速度迈向超级智能；相反，他们监管 AI 的研发，使 AI 的核心能力以更合理的节奏提升，同时也以更透明的方式推进，让科学界能够了解情况并协助保障其安全性。

Daniel Kokotajlo：我的意思是，（笑）从定义上来说，如果它能做所有事情，那它就能做所有事情。我认为关键问题在于：我们是否应该允许能够做所有事情的 AI 存在？有些人认为答案是否定的，我们应该彻底关闭一切，从源头上阻止这类 AI 被创造出来。而我们实际上某种程度上……

……对此表示同情。

我们有我们的……要切出各种方案的图表吗？好的，谢谢。我们的方案叫《AI 2040 A 计划》。在这一情景中，人们放慢 AI 开发速度，使超级智能在 2040 年而不是更早实现。A 计划是我们的建议方案，这张图展示的就是我们的建议。但为了对比，我们也制作了展示其他备选方案的微型情景，分别称为 S 计划、B 计划、C 计划和 D 计划。

D 计划基本上就是《AI 2027》中的剧情，即竞赛继续，几乎没有任何监管，详情可以在《AI 2027》中看到。C 计划也非常类似于《AI 2027》中放缓节奏的结局——在那个结局里他们解决了对齐问题：人们稍微放慢脚步，将更多资源转向 AI 对齐与 AI 安全研究，并且幸运地成功了，拥有了已对齐的 AI，随后再次加速，接管所有工作，在竞赛中击败中国等等。

B 计划与 C 计划类似，不同之处在于，在 B 计划中对中国采取更激进的态度，采取破坏或网络攻击等手段阻碍对方，从而为自己赢得更多喘息空间去解决对齐问题。而 A 计划是我们的建议方案，即通过国内监管以及国际协议，以一种好得多的方式继续构建 AI。

S 计划则是彻底关停一切。如果你希望未来不会有各种能比人类做得更快更好的 AI 到处乱跑，你大概会希望实行 S 计划。不过 A 计划是我们的推荐方案。虽然我对 S 计划持同情态度，但出于我们阐述过的原因，我们依然建议实行 A 计划。

Daniel Kokotajlo：D 计划。

Daniel Kokotajlo：是的，就是全天候不断进行无休止的竞赛。他们不会真正慢下来，事情会发生得极快。这张图表也大致解释了背后的逻辑。顶层逻辑是：你是想尽可能快地开展竞赛，让 AI 变得越来越聪明，让它们接管更多事务以便击败中国？如果你对此感到满意，就会走到图表下方标记为《AI 2027》变体的情景；如果你对此感到担忧，就会走向另外几条路线。除了这些之外还有更多选项，但图表里列出的是我们能压缩呈现在同一个屏幕上的几种。

Daniel Kokotajlo：有的，我有两个孩子。这挺让人伤感的。我认为不论怎样，等他们到了可以进入职场的年龄时，这一切恐怕都已经结束了。所以我不认为他们有机会进入……

Daniel Kokotajlo：我指的就是我前面描述的那些里程碑事件，

比如 AI 实现了 AI 研究的自动化，AI 变得超级智能；随后 AI 席卷整个经济体系，接管工作岗位，建造机器人工厂来制造更多机器人，进而建造更多工厂等等，GDP 曲线开始呈垂直爆发增长。我指的就是所有这些事件的发生。当然，也许有 10% 到 20% 的概率会碰壁，即使你什么都不做，这些也不会发生。

Daniel Kokotajlo：是个女孩。

Daniel Kokotajlo：我的意思是，如果这些激进的变革真的发生，世界将会变得截然不同，你为了什么岗位做准备基本上大都不再重要了。我会说，首先，努力让事情朝好的方向发展。如果你能对历史的发展轨迹产生任何影响，你就应该极力将未来引向更好的方向。其次，在个人层面，你应该专注于做一个好人，去做那些本身就有价值和意义的事情，而不是单纯为了日后的就业去做准备，因为届时的就业市场基本上会充满极大的不确定性。

Daniel Kokotajlo：到时肯定会有物质上的极大富足。问题在于，谁掌握着这些富足？他们会用它来做什么？对吧？这些 AI 是否受人控制？

还是它们完全按自己的意愿行事？如果它们受人类控制，是谁在控制它们？控制者会做什么？支配他们做出这些决定的政治结构又是什么？

Daniel Kokotajlo：没错。我的意思是，这理应成为我们的默认假设：面对这些我们无法确切得知其真实想法的大脑，我们要把它们造得比我们更聪明，并让它们掌管一切。

Daniel Kokotajlo：是的，然后它们将自主建造新工厂等等。这怎么可能会有一个好结局呢？这不就相当于我们亲手扶植了一个新物种，而当它不再需要我们时，就会在竞争中淘汰我们吗？我认为这就是默认的发展轨迹。

当然，我们也可以探讨如何脱离这种默认轨迹。例如我之前提到的可解释性研究，如果这项研究取得成果，你就能真正看清它们在思考什么，那将成为塑造和控制它们、确保它们按人类意愿行事的绝佳工具。此外还有其他几类正在推进的 AI 对齐研究议程，如果其中有足够多的方案取得成功，我们就能避免这个问题。

当然，还有监管层面。

使得这件事变得困难的部分原因在于，我们是在激烈竞争的赛跑状态下构建这些 AI 的。各大公司对自己开发 AI 的配方保密，因为他们想保护商业机密，防止别人模仿。所以很多事情都是在闭门进行的，只有极少数人能真正看到训练这些 AI 所使用的配方。此外，当 AI 出现意料之外甚至明显未对齐的行为时，这些信息往往不会向公众公开，因为公司没有动力去向所有人宣扬自己搞砸了或是自家的 AI 有多么危险。这非常不利于在这些科学难题上取得进展。

如果监管体制有所不同，我们或许能处于更好的境地，取得更快的进展。同时，我们也就不会计划以最快速度让 AI 掌管一切，也不会计划允许它们进行自我改进。这些都是我们本可以选择不去做的决定。

Daniel Kokotajlo：额，我没有直接和他共事过，但我跟他聊过几次。

Daniel Kokotajlo：我认为是的，但我觉得他和其他那些 CEO 类似。我的意思是，想想他们面临的激励机制：他们能看清问题所在，然后心里会想“好，但如果我停下来、辞职或转做其他事，并不能解决问题，因为其他 CEO 还会继续推进；即便我们所有人都不做，中国也可能会继续推进。所以，这件事不论我做不做，最终都会发生。我不如参与其中，也许还能设法让它朝好的方向发展。无论如何，我可不想在我信任的人掌管一切时被晾在一边。”所以他们都经过了这番推演，然后说服自己去……

Daniel Kokotajlo：亲自构建并把它做得更好。我认为伊利亚只是最新的例子，埃隆（Elon Musk）是另一个例子，达里奥（Dario Amodei）也是一个例子。可以说在 OpenAI 成立之初，萨姆（Sam Altman）也是一个例子，尽管埃隆和达里奥早期也在 OpenAI。

Daniel Kokotajlo：我认为应当推行某种国际监管，或者至少是国内监管，正如我们在 A 计划中所描述的那样。

Daniel Kokotajlo：在这个情景中，AI 实现递归自我改进和 AI 研究完全自动化所需的时间比《AI 2027》要长。我们认为应该尝试展示一系列不同的可能性，因为我们确实存在不确定性区间。因此，我们选择 2030 年作为最终实现完全自动化、变革真正爆发的时间点。

然后从这个时间点倒推，最晚在什么时候必须建立起有效的监管？答案是 2029 年。在这个情景中，AI 的发展速度自然略有放缓，AI 公司继续展开竞赛，但在 2027 年、2028 年或 2029 年都没能彻底实现自我自动化，不过它们已经非常接近了，准备在 2030 年达成。

接着在 2029 年，政府出手对其进行监管。政府采取了什么监管措施？基本上就是暂时叫停。

Daniel Kokotajlo：这将是选票上的重头议题之一。我们认为这可能会是2028年总统大选最重要的议题。我想大多数人都会非常担心事情的发展方向，这也正是我们在该场景中选择这样描绘的部分原因——这有助于解释他们为什么会在2029年出台此类监管措施：因为选民一直在要求，总统候选人也一直在承诺。

Daniel Kokotajlo：对。在这个场景的2029年，许多工作都演变成了管理AI Agent（AI代理）。你之前提到你有一个AI Agent，对吧？在2029年的设想下，AI Agent会好得多，但仍不足以完全搞定所有事情。那种情况在我们的时间线里要到2030年才会出现。

再次说明，我们对具体时间线并不确定。事情的发展可能比本场景描绘的要快，实际上我认为可能会更快一些，但我们无法确定。我们之前已经做过极快时间线的场景，所以现在做的是较慢时间线的场景。

不过或许我们应该谈谈高层目标。政客们——包括总统、投票给总统的选民，以及其他国家政府的领导人等等——他们希望AI继续发展，但保持较慢的节奏，以便能够确保其安全。所以，目标一是放慢速度；目标二是提高透明度，以便科学界能够……

……跟上这些进展并取得更多进步。此外，这样我们就不必在AI公司宣称其系统安全、或者宣称没有在系统中植入偏见时，只能盲目相信他们的话。

这是一个宪法层面的权力问题。我们也想避免权力高度集中。因此，除了透明度和放慢节奏之外，我们认为跨多个不同国家拥有多家具备类似顶尖AI能力的公司，并且让AI在社会中广泛普及，而不是由单个聚集了所有最强AI的超级项目所垄断，这实际上非常有益。

而且另一点是，如果你做到了前两件事，这在很大程度上会自然实现。如果你放慢速度并提高透明度，就意味着给其他项目留出了追赶的喘息空间，对吧？透明度本身就能切实地帮助他们赶上来，因为他们可以借鉴或复制其中的一些想法。

然后我认为第四点是可逆性（reversibility）。在接下来的场景中，我们将建造大量数据中心和大量机器人，以相对较慢的节奏改变世界——尽管依然非常快，但相对慢了一些。如果事情出了差错、协议打破，大家再次陷入尽可能快地研发超级智能的拉锯赛，那将非常可怕。因此，第四项原则基本上是：以某种方式建造新的数据中心，一旦协议破裂、大家重新开始竞速，新建的数据中心就会被摧毁，从而让我们回到原点……

……而不是陷入一场更糟糕的博弈——到处充斥着更多AI、机器人和算力。如果你感兴趣的话，我可以带你梳理一下这条时间线。

Daniel Kokotajlo：总统与中国及其他多国领导人沟通，表示我们将基本暂停AI开发，直到研究出如何以实现这些目标的方式来进行开发。因此，他们基本上会向对方的数据中心派遣检查员。比如中国检查员来到美国数据中心，美国检查员前往中国数据中心，核实他们是在进行“推理”（inference）而不是“训练”（training）。开发新的AI需要进行训练；但直接使用现有的AI来服务客户，这被称为推理。

因此，在这个场景中他们得出的解决方案是：在新的训练数据中心建立起来之前，暂且允许继续进行推理，但禁止训练。于是他们对现有的数据中心进行改造，专门用于推理。人们依然可以继续与他们的AI Agent对话，但AI在大概半年到一年的时间里不会变得更强，期间他们会建设全新的、完全透明的数据中心，未来的训练就会在那里进行。

一旦这些新的数据中心在2030年建成，AI研究就会继续。这里有一个比较激进的提议：我们主张完全的研究透明度（total research transparency），这意味着在训练新模型的训练数据中心里，他们基本上必须公布一切。这也意味着你可以看到训练这些模型的所有配方细节、模型架构等等。我们认为这种开放科学对于足够快地解决“对齐问题”（alignment problem）至关重要，因为你不会希望由一些带有偏见的公司来决定AI是否安全。

此外，我们认为这对于制定良好的普遍法规也至关重要，因为目前全球大部分AI专业知识都集中在硅谷，各国政府对AI其实并没有那么了解。

试想一下另一种替代方案：如果不是实现完全的研究透明度，而是实行审计员制度，由政府出台一些关于如何确保AI安全的规则，然后设立一个机构去各大公司问询并确保他们遵守规则。这就会形成一种对抗性的动态关系，公司会有动力去愚弄监管者；而且如果他们发现了一些政府根本没意识到的新问题，他们可能也会倾向于瞒着政府。

因此，如果有完全的透明度，就能帮助政府更快做出更好的决策。

Daniel Kokotajlo：是的。Prophetic 不会喜欢这样，OpenAI 也不会喜欢这样。这大概会对估值不利。

我不认为这会彻底杀死它们，但这意味着技术会更加商品化（commoditize），对吧？也就是会有一批AI公司追赶到最前沿，训练出大致相似、大致同等水平的AI。它们依然可以通过出售自己的AI来赚钱，但不再拥有垄断地位，甚至连接近垄断都做不到。我认为这对全人类是有益的，尽管这损害了那些特定公司的净利润。

值得注意的是，这对许多其他公司的净利润是有利的。比如如果你是一家落后的公司，你不是 Anthropic，也不是 OpenAI，那你一定会喜欢这一点，因为这能帮您追赶进度，或者帮你从所销售的芯片或开发的下游产品中获取更多价值。

Daniel Kokotajlo：是的。这里的情况是，我们设想美国政府以及参与该协议、实施类似法规的其他国家政府（它们的法规不必完全相同，这也是透明度的另一个好处：如果有这种透明度，当两个政府实施不同法规时，比如其中一方要求其公司放慢速度或禁止了更多事项，双方都能看到对方的做法，比如“哦，你竟然允许他们做那种事？你这边不允许？那也许我们也应该允许他们这么做”）。因此这有助于在某种程度上自然地平衡各国法规，而不需要存在一个有权为所有人制定规则的中央集权机构。

总之，我们设想当他们建立起这种透明度机制后，基本上同意禁止危险的项目，允许不那么危险的项目，并且围绕“什么是危险的、什么不是？我们该禁止什么、允许什么？这个国家怎么样、那个国家怎么样？”展开持续的对话。这种对话随时间演变，但其核心在于——至少按我们推荐的方式去做的话——他们不会触发“智能爆炸”（intelligence explosion），不会让AI自主进行自我提升。

取而代之的是，他们缓慢而谨慎地扩大现有AI的规模，并投入大量精力研究如何让它们更容易被控制、更好地理解它们的工作原理等等。

结果就是AI的进步仍在继续，但速度没那么快，而且要安全得多、也更加透明。

Daniel Kokotajlo：影响仍在持续，因为他们一直在建造更多的数据中心，对吧？在这整个期间，他们建造了越来越多的数据中心、越来越多的芯片，不断扩大可以说是AI的“人口规模”，从而在整个2030年代引发这场巨大的变革。

所以我们希望人们记住的最核心的一点是：即使你对AI施加了严格限制，依然会迎来这种惊人的转变。

是的，在这个场景中，他们在2030年允许AI在更慢、更安全的节奏下继续发展，结果到了2035年才达到“顶尖专家级AI”（top expert level AI）水平。记住，他们原本预计在2030年就能达到那个水平，但在最后关头叫停了。但由于他们离那个终点已经非常接近，这意味着只要他们想，就能很快到达，这只取决于他们允许让这个过程持续多久。因此他们放慢了步伐，拉长了时间线，在5年之后平稳地达到了这一水平。到了这个时候，他们已经在各地建立了海量的数据中心。所以不仅是AI变得更聪明、能够胜任人类能做的一切工作，而且AI的数量也极其庞大。

此外还有大量的机器人等等。

所以到了这个节点，基本上就呈现出许多人在设想AGI（通用人工智能）时代时所预期的经济景象：存在海量的AI，能够胜任各式各样的工作；存在海量的机器人，能够完成各种体力劳动，整个经济基本上由这些机器在运转。

Daniel Kokotajlo：好的。如果AI要取代人们的工作，那么非常重要的一点就是不能让人们挨饿，并且依然要有钱拿。如果各大公司要使用AI和机器人来接管所有这些工作，就意味着需要有某种税收方案或类似机制，以确保人们依然能分得一杯羹。蛋糕会变得极其巨大，但你依然需要切实地分给人们一口。

我们提出的实现方式称之为“公民红利”（citizens dividend）：基本上就是让民众持有某个机构的股份，该机构向机器人公司和算力公司出售许可证并从中获利，民众则拥有该实体的股份。刚开始数额较小，大概是每人2.5万美元；到了最后，大约会达到每位公民每年1000万美元。

Daniel Kokotajlo：每人每年。

Daniel Kokotajlo：算上通货膨胀。

是的，如果这种情况发生（虽然很可能不会发生，但如果真的发生了），这就是它最终的发展方向。

我想再次强调的是，如果你到了AI几乎能够完成所有研究的地步，然后暂停并放慢脚步，这意味着你前方依然面临着巨大的转变，因为如果你允许这些AI继续缓慢推进并开始自动化各种工作等等，几年之后它们确实会做到这一点。它们会建造海量的新数据中心、海量的新芯片晶圆厂、海量的新机器人和机器人工厂等等。

我们显然不确定这具体会有多快，但我们对此进行了深入思考，有了我们的推测，这算是我们的中位数预测。

Daniel Kokotajlo：是的，这里指的是我们认为它们达到了“顶尖专家级AI”的时刻。所以它还不是严格意义上的“超级智能”（superintelligence），即并非在所有事情上都远比人类聪明，因为人们有意将其暂停在顶尖专家的水平。

所以在这里他们放慢了速度，停在一个AI在各个领域都极其出色的节点。因此他们肯定拥有了AGI，甚至可能拥有了弱超级智能。因为存在如此庞大数量的AI，而且它们的思考速度比人类快得多（运行速度要快得多），这将极大地改变社会。

因此我们讨论了它改变社会的一些方式，比如这就类似于“离职后的生活”（life after work），我们探讨了……

……在这个世界上依靠公民红利生活、不再需要工作会是什么体验。

我们在这里讨论了由所有这些AI产生的智力进步和活动所带来的所有科学变化和社会变革。例如，其中包括癌症治愈方案，以及人们住在两年前由机器人建造的公寓里等情况。

Daniel Kokotajlo：是的，不幸的是，我实际上认为在默认情况下事情会发生得比这更快；如果我们不放慢脚步，事情进展会快得多。一旦到了有数十亿个AI日夜不停运行、且每个AI在各个方面都比最优秀的人类更出色的节点，它们就会做大量的科学研究、进行大量的相互交流和思考，每个人也在不断与自己的AI助手对话等等。因此会出现大量的科学进步，政治格局和意识形态也会发生巨大变化。这将极具颠覆性和狂热，我们在后文中具体阐述了它呈现的方式。

Daniel Kokotajlo：让我举个例子，“测谎仪”（lie detector）就是一种可能会被发明出来的技术。你知道，现在我们没有好的测谎仪，现有的测谎仪非常糟糕，有点效果但并不完全有效。

但一旦你……

……拥有这些顶尖专家级的AI以100倍于人类的速度思考多年，而且有数十亿个这样的AI，它们还能使用机器人工厂去做实验研究，它们很可能会发明大量技术。

也许它们会发明出对真实人类真正有效的测谎仪。那将产生巨大的社会影响，对吧？

设想一位总统候选人说：“那些指控都是虚假的，为了证明这一点，我愿接受测谎仪检测并声明那是假的。”

Daniel Kokotajlo：这既令人恐惧又令人兴奋。我们在本节中提到的一件事是，测谎仪的发明可能会非常糟糕。例如，它可能会催生一种新形式的极权主义——权贵阶层（比如CEO和政客）强迫手下人接受测谎，要求他们说“是的，我忠于亲爱的领袖，我绝不会做任何违背亲爱的领袖的事”。

Daniel Kokotajlo：如果你撒谎，就会被解雇，对吧？所以测谎技术有很多极其有害的用途。当然也有好的用途，总体而言，我认为好的用途是当测谎仪被用在权贵身上，而不是被权贵拿来控制他人时。

Daniel Kokotajlo：对。在这里，他们停在了“顶尖专家级AI”这一水平。而他们停下来的原因是：他们的“安全论证”（safety cases）还不足以支撑超越这一水平。

因此，在他们这些年来建立的监管体系中，大致的操作方式是：当你开发一款新的AI时……

当你试图将 AI 部署到某个领域时，你必须准备某种安全论案，解释你的意图是什么，以及为什么你认为它会按照你的预期运行。具体来说，例如 AI 为什么会听从指令，以及为什么不会发生 AI 接管等极其糟糕的事情。

在 AI 尚无法实现全盘自动化时，制作这样的安全论案相对容易。但它们越强大，就越难论证一切都会平安无事，因为 AI 能力更强了，能干的事情也更多了。如果它们实际上不可信，潜在的负面后果就会更大。

所以这就是为什么他们停在这个水平，因为他们意识到如果继续推进，可能真的会失去对一切的控制。但在当前水平下，他们被安全论案说服，认为目前是安全的。但他们不想再进一步，于是就此打住。

然后到了 2040 年，他们在科学上取得了重大进展，包括在对齐方面，他们弄清楚了如何制造出能够以稳健方式真正对齐的 AI。

Daniel Kokotajlo：与人类对齐。因此他们可以真正信任这些 AI，并允许它们再次变得聪明得多。这就是为什么我们将整个计划称为“AI 2040”，因为在 2040 年，他们相当于松开了刹车，允许 AI 变得比人类聪明得多。

Daniel Kokotajlo：没错。必须区分“我们推荐什么、希望发生什么”与“我们认为默认情况下会发生什么”。

我们确实认为这有可能发生，但这需要很多人警醒起来、给予更多关注，并倡导此类事情发生。

因此，我们的主场景主要探讨已做出的政策选择以及对社会的广泛影响。我们觉得如果再附带一个迷你场景，从普通人的视角描述经历这一切的切身感受，那就更好了。

到了 2029 年，大家都在互相争吵，总统们正在谈判某些事项，他们暂停了 AI 的研发，但你仍然可以使用现有的 AI，所以感觉上并没有太大变化，尽管确实有一些令人兴奋的事情在发生。

到了 2031 年，他们重新恢复了进展，AI 变得非常聪明，更多的人失去了工作，这开始真正产生实际影响。但我认为大多数人仍然保住了工作，只是他们的工作性质发生了某种转变。

所以到 2031 年左右，大多数白领工作在很大程度上都涉及到与 AI 合作、管理 AI 团队或与它们协同。

Daniel Kokotajlo：此外，像自动驾驶出租车这类事物基本上已经投入正常运营。至于全民分红，理想情况下应该更早实施。但在我们的场景中，他们往往到了最后一刻才行动。许多政策措施几乎都是在紧要关头才出台的。显然，我们建议更早实施，并且做得更好。但无论如何，到了 2033 年，你开始收到分红支票。

Daniel Kokotajlo：然后它会随着经济增长而增长。

Daniel Kokotajlo：这就是为什么那几乎是最后可能的时机。因为如果你等到 2037 年左右才实施，到那个时候大家早就都已经失业了。

Daniel Kokotajlo：过程会很艰难，希望我们能妥善应对。我们认为，在宏观层面上，人们既需要有钱，也需要有权力，而这是两件截然不同的事情。

为什么工作很重要？工作重要的原因有很多，但主要原因在于：这是人们获得金钱的方式，从而能够生存，并通过购买来获得想要的东西。所以如果人们即将失去工作，你就需要另一种让人们获得金钱的方式。

此外还有权力的问题，目前人们之所以拥有政治权力，部分源于他们的经济实力。例如，人们可以威胁举行罢工；或者对于独裁统治的国家而言，独裁者虽然可以完全屠杀某个子群体，但这样做的代价极高，因为该子群体在为经济做贡献、提供税收收入等等。

但是，如果你最终处于一个除了 AI 公司和机器人公司之外、实际上没有普通人再贡献税收的世界，那么政府去关心普通人想法的动力就会减弱。

因此，当人们失去工作时，他们不仅面临失去收入的威胁，还面临失去政治权力的威胁。

所以我们认为，采取行动来抵制这种趋势至关重要。

Daniel Kokotajlo：至少在民主国家，他们依然拥有投票权。因此我认为，针对 AI 的使用制定监管规定极其重要，这有助于让公共讨论更加理性，真正符合大众的利益并满足其诉求，避免出现相反的结局。

例如，大众很容易被基于 AI 的媒体所操纵；或者每个人整天都在与自己的 AI 顾问交流，而 AI 顾问在暗中引导他们不要投票给某个候选人——只因 AI 公司更倾向于另一个候选人，于是秘密地给 AI 植入偏见，引导人们投票给那个候选人。所以，我们希望处于这样一种情境：人们所拥有的 AI 是真正值得信赖、追求真理、诚实的 AI，并且没有被 AI 公司或政府塞入任何政治议程。

你希望避免政府出台某种秘密指令、强制要求 AI 必须符合某种特定倾向的情况。

美国战争部与 Anthropic 之间的争端就是个有趣的预兆。当时 Anthropic 将其 AI 提供给战争部，战争部想把它们用于某些用途，但 Anthropic 的 AI 被设定为不能用于这些用途，战争部为此感到很不高兴。具体而言，这些用途包括国内监控和自主机器人。未来还会出现更多类似问题。

你希望人们能清楚知道自己得到的是什么；如果人们每天花几个小时与聊天机器人交流，那个机器人不会被植入政治偏见或秘密议程，而是被训练成给出诚实、真实的解答。我认为如果能做到这一点，就能改善公共讨论，帮助人们通过选票制定更好的监管政策、选出更好的政治家等等。

这样甚至有可能形成良性循环，让大众的权力比今天更加稳固。

Daniel Kokotajlo：是的。在这个场景中，他们将超级智能的研发推迟到了 2040 年，事实上他们在 2035 年暂停了研发，但之后又放开了，随之让 AI 变得极其聪明。我们认为，一旦 AI 具备了极高的超级智能……

世界将发生比该场景中 2030 年代更为彻底的变革。

在该场景的 2030 年代，AI 更偏向于人类水平，它们做的是人类专家原本就会做的事情，只是做得更好一点、更快一点、便宜得多，而且数量多得多。机器人也依然在做人类工人原本就会做的事情，只是数量更多、成本更低。

由于指数级增长，你从 2029 年一个与今天差异不大的世界开始，到 2039 年则进入一个彻底变革的世界——所有人均居住在两年前由机器人建造的高档新公寓里；到处都是巨大的经济特区，布满了机器人、太阳能电池板以及生产更多机器人和太阳能电池板的工厂；绝大部分经济由 AI 和机器人构成，人们不再需要工作。如果在人类水平暂停，就会得到这种程度的变革。

但如果你超越了这个水平，将会迎来一场看起来更像魔法的新变革。

试想一下，今天的技术在 500 年前的人看来会多么像魔法。

Daniel Kokotajlo：但如果到了这样一个阶段：拥有数十亿乃至数百亿的 AI，它们不仅比人类更快，而且在各方面——尤其是进行科学研究方面——在质量上要优秀得多……

我们应当预料到，它们研发出的某些事物对我们而言将如同魔法一般，完全超出我们先前的想象。人们不想死亡，不想被车撞，不想遭受无差别连环杀手的袭击。

Daniel Kokotajlo：不仅是癌症，科幻小说中的许多场景到时候可能都会成为现实。比如人们扫描大脑并上传到计算机中，或者小行星带中的自我复制机器人制造越来越多的卫星，以产生越来越多的电力来制造更多的自我复制机器人等等。

Daniel Kokotajlo：没错。如果最终人类经济在整体经济中只占沧海一粟，绝大部分都是运转飞快的庞大机器人与 AI 体系，那么你希望地球在很大程度上被保留下来。很多人担心环境遭受破坏——如果不加保护，确实会被破坏。此外，也有许多人喜欢当下的生活状态，不想被脑机上传，也不想生活在某种狂野的新未来中。在我们看来，解决这些问题的合理方案是：利用浩瀚的经济财富与生产力在地球之外创造新的生活空间，以满足有此类需求的人，从而使地球得以完好保存。

Daniel Kokotajlo：再次说明，我们的建议是出于历史或环境原因，将地球约 99% 的区域基本按现状保留下来；但将其余某些区域划定为经济特区，让机器人在那里全力运转，开采巨型露天矿、建设工厂等。出于多种原因，我们当时认为在海洋上建造数据中心比在陆地上更好，尽管后来建在太空会更好，我认为那也很合理。

Daniel Kokotajlo：没错，我认为这很可能是对的。我们在当前阶段没有描绘这种情况，因为在这个阶段他们只有人类水平的 AI。但超级智能通过多种途径实现这一点似乎是非常合理的。

Daniel Kokotajlo：顺便提一句，在发布《AI 2027》后的第一周，它的反响远超我们的预期。我们事先对浏览量等指标做过预测，结果达到了第 90 百分位的成果，完全出乎意料。

在随后的 Twitter 舆论风暴中，许多人质疑：“好吧，你们为什么要给我们看这些悲观阴暗的预测？为什么不给出一个更积极的愿景，提出你们认为应该怎么做？”这颗种子植入了我们心中，我们觉得这很合理。

我们已经描绘了默认发展路径的样子以及为何令人担忧，现在也许该改变策略，提出一些具体的建议并予以呈现。

Daniel Kokotajlo：哪怕你不确定某个政治候选人会胜选，你依然可以投他一票。你可以公开表达“我认为我们应该怎么做”，即便你认为大家可能不会照做。如果你觉得完全不可能，就不必费心去说；但我们认为是有可能的。具体来说，出于我们在场景中阐述的原因，我们认为人们将在未来几年内觉醒，意识到 AI 的巨大威力。

Daniel Kokotajlo：各家公司正在明确表示他们将要实现这些突破。

并且它们正在按计划推进。如果它们达到接近这种水平的 AI，显然会出现重大问题，我们必须采取行动。因此我认为，即使没有发生非常戏剧性的警示事件，人们自然也会开始更加关注此事，理清其影响并尝试预测未来趋势，进而对 AI 监管产生更浓厚的兴趣。事实上，这种趋势的发生程度已经超出了我们……

Daniel Kokotajlo：超出了我们预测的对 AI 监管的严肃关注度。当我们发布《AI 2027》时，科技公司和政府的主流立场普遍认为 AI 监管是个坏主意，主张自由放任。

Daniel Kokotajlo：甚至曾有人试图预先禁止各州对 AI 进行监管，你还记得吗？现在讨论氛围发生了很大变化。比如美国政府刚刚要求 Anthropic 限制其 AI，因为担心坏人会将其用于网络攻击。政府正在觉醒，所采取的行动已经超出了我们的预期。我们希望这种趋势能够持续下去，在为时已晚之前，政府内外以及全社会都能针对所有这些议题展开非常严肃的对话，并努力开辟一条避免最糟糕结局的道路。

Daniel Kokotajlo：在你说“永远”之前，我本来打算狠狠按下去的。

Daniel Kokotajlo：如果只是某种临时关停，我一定会毫不犹豫地按下去。因为我们文明还没有准备好应对这些能够实现自我自动化、变得越来越聪明的系统，并迎来超级智能。有许多理由说明这极其危险。但如果它永久剥夺了未来再次尝试的可能性，我至少会犹豫。

Daniel Kokotajlo：如果要在D计划和S计划之间做选择，我想我会按下按钮。

Daniel Kokotajlo：我没说这就一定会发生。在我看来这可能是概率最高的，或者第二高、第三高的，它们都是有可能发生的。

Daniel Kokotajlo：这太难决定了。这次关停的范围是什么？

Daniel Kokotajlo：那真的很艰难。因为正如我所说，如果我们做得对，我们可以从AI中获得巨大好处。

Daniel Kokotajlo：在某种程度上是的。你介意让我思考一下吗？

Daniel Kokotajlo：我想我不会按下按钮，但我心里非常纠结。我之所以认为自己不会按，是因为我仍然抱有很大希望，认为我们能迎来好得多的结果。

基本上我认为，如果我们最终不构建强大的AI系统，人类文明可能在未来一两百年内因核战争、大流行病等原因走向灭亡。我不认为目前的人类文明有多么超级稳定。因此，对于后代以及未来可能生活的数十亿、数百亿人来说……

……潜在的好处可能超过了目前的风险水平。

但实际上，我也听说过这种叙事。也许现在活着的人才是我们应该最优先考虑的，他们目前正处于巨大的危险之中，先别管后人了，应该优先照顾当下的人。而现在的人们肯定不想参与这种抽彩票式的风险。

你确实问了我一个难题。所以如果那个按钮摆在面前，我会按吗？可能不会，但我会感到非常纠结。

Daniel Kokotajlo：是的，普通人能做些什么呢？如果你既有天赋又有热情，可以直接参与进来。有许多组织都在担心这些问题并试图做出改变，比如进行政治倡导、技术研究，或者开发能帮助人们的实用工具。

如果你不想对职业生涯做出重大改变，那我建议你多关注这些问题，并与他人多加讨论。

做一些像给你的国会议员写信之类的事。虽然这不会改变太多，但确实有帮助。

对于这一特定问题，核心在于大家还没有真正重视它。如果我过去这一两个小时跟你说的这些话是每个人都在关注的核心议题，我们甚至根本不需要讨论这些——早就出台了更具实质性的监管政策。

不仅监管会更严格，而且会更完善，不像大棒而更像手术刀，能更精准地区分什么是真正危险的、什么没那么糟糕。政府内部及其顾问团队中也会有更多专家。

因此，越多人意识到这些隐忧和预测，就越有可能在为时已晚之前采取行动。

Daniel Kokotajlo：你应该问问候选人对AI这些事情的看法，促使他们形成观点，然后投票给在该议题上立场更佳的候选人。这是我们有生之年、甚至可能是人类历史上最重大的事件，让它顺理发展极其重要。这是所有国家的领导人都应该思考并制定计划的事情。

Daniel Kokotajlo：我说是走向高潮的序幕（run-up to the climax）之类的。

Daniel Kokotajlo：这是一个令人伤感的话题。生孩子的很大一部分理由是关于未来的，不仅仅是当下有个可爱的孩子陪伴。你怀揣着所有的希望和梦想，期待他们长大，追寻自己的事业，成为独立的个体。而由于AI领域正在发生的事情，我认为很多这样的梦想都处于危险之中。

Daniel Kokotajlo：我在这个问题上偶尔摇摆过。直接的回答是：我不确定。我的第一个孩子是在2019年出生的，那是在我的时间线大幅缩短之前。当时我对AI很感兴趣，在追踪该领域的进展并做预测，但我并不认为超级智能会很快到来。

后来当我开始意识到“天啊，这很快就会发生，比如到2030年”时，这引发了重新思考。

我基本上跟我妻子说：咱们别再生孩子了，不确定性太大了。

但这真的很难，尤其是对我妻子来说，我们已经有一个孩子，但没有兄弟姐妹。所以最终我妥协了，我想：好吧，我们已经有一个了，一切都会好起来的。

也许未来会很美好；即便不美好，大家也在同一条船上。

Daniel Kokotajlo：我也感到不寒而栗。这确实很糟。但我希望事情会向好的方向发展，我也认为有可能向好发展。我们可以做很多事情来引导事物朝更好的方向发展。

Daniel Kokotajlo：我认为这确实是一种张力。大家划定界线的方式各不相同。有些人坚决不用AI，认为它是坏事且走向错误，所以选择抵制AI。我不是这类人，我经常使用AI，我们在“AI Future Project”（AI未来项目）的所有人都用，它对我们的很多工作都大有帮助。

光谱的另一端则是有些人认为：既然这势不可挡，为了让事情向好的方向发展，就应该深入其中、积累权力，尝试从内部引导它，去 OpenAI 或 Anthropic 工作并努力晋升，以便在做出重要决策时成为有话语权的人。

我认识很多这样的人。

Daniel Kokotajlo：是的，这就是为什么他们说服自己这样做没问题——因为他们也在担心竞争对手。所以所有这些人决定全力投入，确保决策时自己在场。在这条光谱上，我处于中间位置：我不在AI公司工作，没有帮他们加速；相反，我面向公众发声，倡导我认为目前最佳的前路与出路。但我也并没有抵制所有AI，我不拒绝以这种方式接触它。

Daniel Kokotajlo：我不认为为时已晚。如果我觉得太晚了，我就不会站在这里了。

Daniel Kokotajlo：陪在我的家人身边。

Daniel Kokotajlo：我想说，关于AI你已经听到了很多、未来还会听到更多，这听起来很像科幻小说，但有时听起来像科幻的事情确实会在现实中发生。事实上，历史上有许多曾经的科幻构想最终都变成了现实。人们需要停止纠结某件事听起来像不像科幻，而是开始思考这项技术发展的真实趋势，阅读预测并认真对待可能出现的后果……

……并思考应该对此采取什么行动。

Daniel Kokotajlo：你可以访问 ai2047.com 阅读我们之前的设想，也可以访问 ai2040.com/plan-a 阅读我们关于应对方案的新提案。这些不仅仅是科幻故事，还包含大量的解释说明和其他参考链接，是了解这一切的绝佳起点。如果你需要，结束后我可以提供一份阅读清单，包括其他论文、文章和博客。

Daniel Kokotajlo：谢谢，总结得很好。这至关重要，AI很快将无处不在，我们必须在为时已晚之前采取行动。

Daniel Kokotajlo：那是我们的组织。在我离开 OpenAI 后，我们花了一年时间编写《2047》，接着又花了一年时间编写《2040 Plan A》。

Daniel Kokotajlo：谢谢。

Daniel Kokotajlo：谢谢。