Dario Amodei:我们已接近智能指数增长的尾声
我们究竟在扩展什么
Dwarkesh Patel:在你看来,过去三年最大的更新是什么?过去三年的感受与现在相比,最大的不同在哪里?
Dario Amodei:是的,我认为底层技术本身,或者说这项技术的指数级发展,广义上讲,大体上是符合我预期的。我的意思是,可能会有一两年的偏差,这里差个一两年,那里差个一两年。我不敢说自己预测到了代码领域的具体发展走向。但实际上,当我回顾这条指数曲线时,模型从聪明的高中生、聪明的大学生,一路推进到开始能做博士和专业级事务,甚至在代码领域超越这个水平,整个进程大致就在我的预料之中。所以,技术前沿的发展虽然有点参差不齐,但总体符合预期。不过我可以告诉你,最让我意外的是什么。最令人惊讶的是,公众竟然普遍没有意识到我们离这条指数曲线的终点已经有多么接近。
对我来说,这绝对是极其不可思议的——无论是圈内还是圈外的人,大家居然还在讨论那些陈词滥调的热门政治议题,而我们此刻正处于接近这条指数曲线终点的时刻。
Dwarkesh Patel:我很想理解目前这条指数曲线究竟呈现出怎样的形态。因为三年前我们录制节目时,我问你的第一个问题就是:扩展是怎么回事?它是如何起作用的?我现在也有类似的问题,但我感觉现在的状况要复杂得多。因为至少在公众看来,三年前那些已知的公开趋势非常清晰,跨越多个数量级的算力,你可以直观地看到损失函数是如何下降改善的。而现在我们有了强化学习扩展,但目前还没有公开发表的强化学习扩展定律。甚至大家都不清楚背后的逻辑究竟是什么:它到底是在教模型具体技能,还是在教模型元学习?那么在当前阶段,扩展假设究竟是什么?
Dario Amodei:是的,其实我现在的假设和早在2017年时提出来的完全一致。在2017年——我想上次我也提到过——我写过一份题为“大算力块假设”的文档。你知道,它当时并不是专门针对语言模型的扩展定律。当我写那份文档时,GPT-1才刚刚发布,对吧?所以那只是当时众多事物中的一件。当时还有机器人技术,大家在尝试把推理作为独立于语言模型的事物来研究,还有像AlphaGo、OpenAI的Dota,以及大家记得的DeepMind的StarCraft(AlphaStar)中展现的那种强化学习的扩展。所以,那是一篇更具通用性的文档。我在里面具体提到的是:几年后Rich Sutton发表了《苦涩的教训》,但核心假设基本是一致的。
也就是说,所有那些巧妙的技巧、花哨的技术,或者所谓的“我们需要某种新方法才能做成某事”,其实都没那么重要。真正重要的只有少数几件事,我当时列举了其中的七件:第一是拥有多少原始算力;第二是数据的数量;第三是数据的质量和分布,必须是非常广泛的数据分布;第四是训练时长;第五是需要一个能够扩展到天际(无限扩展)的目标函数。预训练目标函数就是这样一种目标函数;另一种目标函数则是强化学习的目标函数,即设定一个目标,然后去实现这个目标。在这之中,既有像数学和代码中那样的客观奖励,也有像基于人类反馈的强化学习(RLHF)或更高阶形式中的主观奖励;第六和第七则是关于归一化或条件化的技术,比如确保数值稳定性,使得大算力块能够像平流一样顺畅流动,而不是遇到各种难题。
这就是当时的假设,而且至今我依然坚持这个假设。我认为我还没有看到什么现象是不符合这个假设的。预训练扩展定律就是我们在其中看到的一个体现,而且它们一直在持续发挥作用。正如目前广泛报道的那样,我们对预训练依然非常有信心,预训练仍在持续为我们带来提升。变化在于,现在我们在强化学习上也看到了完全相同的现象——也就是先进行预训练阶段,然后在预训练之上再叠加强化学习阶段。对于强化学习而言,本质上是一模一样的。甚至其他公司在发布的一些成果中也表明:“看,我们在数学竞赛(比如AIME等)数据集上训练模型,模型表现的提升与我们训练的时长呈对数线性关系。”我们也观察到了这一点,而且不仅限于数学竞赛,在各种各样的强化学习任务中都是如此。
因此,我们在强化学习中看到了与预训练完全相同的扩展现象。
Dwarkesh Patel:你提到了Richard Sutton和《苦涩的教训》。我去年采访过他,他其实非常不支持“大语言模型至上”的观点。如果用一种转述方式来表达他的异议(不知道这样说是否妥当):如果一个系统拥有人类学习的真正核心机制,就不需要耗费数亿美元的数据、算力和这些定制的环境去专门学习如何使用Excel、PowerPoint或浏览网页。而我们不得不通过这些强化学习环境去构建这些技能,恰恰暗示了我们其实缺乏这种核心的人类学习算法,因此我们是在对错误的方向进行扩展。所以我的问题是:如果我们认为模型最终会拥有像人类那样即时学习的能力,为什么我们还要做这么多强化学习扩展呢?
Dario Amodei:是的。我认为这里其实混淆了几件应该分别看待的事物。虽然这里确实存在一个谜题,但它可能并不重要,事实上我猜它大概率并不重要。让我们先暂时把强化学习放一边,因为我认为说强化学习在这方面与预训练有什么本质不同,其实是个误导性话题。如果我们回顾预训练——在2017年Alec Radford开发GPT-1时非常有趣。在GPT-1之前的模型,都是在那些无法代表广泛文本分布的数据集上训练的,对吧?当时用的都是极其标准的语言模型基准。而GPT-1本身是在一堆——我想是同人小说或文学类文本——上训练的,这在人类拥有的文本中只是极小的一部分。当时的数据集大概只有十亿词左右,数据规模很小,代表的分布非常狭窄。
它无法很好地泛化,如果你在同人小说语料库上表现变好了,它在其他任务上的泛化能力依然很差。我们当时用各种指标测量模型预测其他任务的能力,根本看不到泛化能力。只有当你对整个互联网进行通用抓取,在互联网上的所有任务上进行训练时——比如Common Crawl或者抓取Reddit上的链接(我们在开发GPT-2时就是这么做的)——只有做到这一点,你才开始获得泛化能力。我认为我们在强化学习上正在经历完全相同的过程:我们首先从非常简单的强化学习任务开始,比如在数学竞赛上训练;然后转向更广泛的训练,把代码等作为任务;现在我们正在转向更多更复杂的任务。我认为接下来我们将获得越来越强的泛化能力。所以,这就消除了强化学习与预训练之间的那种对立。
但无论如何,这里确实存在一个谜团,那就是在预训练中,我们训练模型要消耗数万亿个 Token,而人类一生根本看不了数万亿个词。所以这里确实存在样本效率上的差异,确实有某种不同的机制在起作用:模型是从零开始的,需要接受多得多的训练。但我们也观察到,一旦模型训练完成,如果我们给它很长的上下文长度(比如100万Token的上下文),它们在上下文内部的学习和适应能力是非常强的。我虽然无法给出完整的解释,但我认为事情的本质在于:预训练过程并不完全等同于人类个体学习的过程,它介于人类个体学习与人类演化之间。人类通过演化获得了大量的先验知识,人类的大脑绝非一张白纸;而大语言模型在很大程度上更接近白纸,它们是从随机权重开始的。
人类大脑一出生就有各种功能区,连接着各种输入输出。因此,也许我们应该把预训练(以及强化学习)视为介于“人类演化”与“人类即时学习”之间的某种产物;而将模型具备的上下文学习视为介于“人类长期学习”与“人类短期学习”之间的某种能力。也就是说,存在这样一个层级:演化、长期学习、短期学习、以及人类的直觉反应。大语言模型的各个阶段在这个光谱上都有所体现,但不一定完全对齐在相同的位置上。大语言模型在人类的学习模式之间找到了属于自己的定位。这样解释能理解吗?
Dwarkesh Patel:是的,不过有些地方还是让人有些困惑。例如,如果把预训练类比为演化,因而样本效率不高是可以接受的,那么,如果我们能通过上下文学习获得极其高效的智能体,为什么我们还要花大力气去构建——你看现在有许多专门做强化学习环境的公司——他们似乎是在教模型如何使用某个 API、如何使用 Slack、如何使用各种工具。如果这种能够即时学习的智能体正在出现、或者很快就会出现、甚至已经出现了,为什么大家还要如此强调构建这些特定的强化学习环境呢?这让我挺困惑的。
Dario Amodei:对,是的。我无法代表其他人的侧重点,我只能谈谈我们的思考方式。我们认为,强化学习的目标并不是去教给模型每一种可能的技能,就像我们在预训练中也不会这样做一样。在预训练中,我们并不是试图让模型接触到词语组合的每一种可能性,而是让模型在大量数据上进行训练,从而在预训练中实现泛化能力。这就是我近距离观察到的从 GPT-1 到 GPT-2 的转变。模型达到了这样一个阶段——我当时甚至有这样的时刻,惊呼:“哇,你只要给模型一组数字,比如‘这是房屋价格,这是房屋面积’,模型就能顺着这个模式完成补全,甚至执行线性回归。”虽然表现不是完美无瑕,但它确实做到了,而且它以前从未见过完全相同的东西。
因此,在我们构建这些强化学习环境的范围内,其目标与五年前或十年前在预训练中所做的非常相似:我们试图获取海量数据,并不是为了覆盖某份具体的文档或某项具体的技能,而是为了获得泛化能力。
Dwarkesh Patel:我认为你提出的这个框架显然是有道理的,比如我们正在朝着通用人工智能(AGI)取得进展。我认为核心争议点在于:目前几乎没有人怀疑我们会在本世纪实现 AGI。核心问题是,你认为我们正在触及这条指数曲线的终点,而其他人看到这一点却说:“是的,我们在取得进展,我们从2012年以来就一直在取得进展,到2035年左右我们就会拥有媲美人类的 AGI。”所以,我很想理解你究竟看到了什么,让你认为——显然我们在这些模型中看到了演化或人类一生中所表现出的那种学习特征——为什么你认为 AGI 距离我们只有1年而不是10年?
AI 能力会如何扩散到经济
Dario Amodei:我实际上认为这里有两种情况,或者说可以提出两种主张:一种较强,另一种较弱。从较弱的主张开始说起,当我最初看到扩展定律时,我其实并不确定。当时这完全是五五开的事情,对吧?我觉得自己看到了某些东西,而我的主张是:这发生的可能性远比任何人想象的都要高。这太惊人了,其他人甚至根本不会考虑这一点。也许有50%的概率会发生。关于基本假设——正如你所说的,在10年内我们将实现我所说的“数据中心里的天才国家”——我对这一点的确定性大约是90%。很难比90%更高了,因为世界是如此不可预测。如果达到了95%,剩下的不可消除的不确定性可能来自于一些特殊情况,比如多家公司内部发生动荡导致毫无进展,接着台湾遭到入侵、所有晶圆厂都被导弹炸毁,然后你只能在雅斯托利亚喝闷酒。
你可以构想出一种场景,有5%的概率事情会被推迟10年。这大概占5%。另外5%的不确定性在于,我对可验证的任务非常自信。因此我认为在编程方面,除了那种不可消除的不确定性之外,我们在未来一到两年内就能达到那个水平,10年内绝对能实现端到端编程。即使在长期时间线上,我唯一的一点根本性不确定性,是关于那些不可验证的任务。比如规划火星任务、做出像CRISPR这样的重大科学发现,或者撰写……这类难以验证的任务。我几乎可以肯定我们有可靠的途径实现这一目标,但如果说还有一点点不确定性的话,就在这里。所以对于10年的时间跨度,我的把握是90%,这几乎是你能达到的最高确定性了。我认为如果说这在2035年前不会发生,那简直是疯狂的。
在一个理性的世界里,这种否定观点应该属于极少数人的非主流看法。
Dwarkesh Patel:但是,对可验证性的强调在我看来暗示了你对这些模型泛化能力缺乏信心。想想人类,我们在能够获得可验证回报的事物以及无法获得回报的事物上都很擅长。你好像必须抛弃……
Dario Amodei:不不不,这恰恰是我几乎可以确定的原因。我们已经看到从可验证事物到不可验证事物的显著泛化能力。我们现在就已经看到了这一点。
Dwarkesh Patel:对,但你似乎把这强调为一个连续的光谱,区分出了在哪些领域能看到更多进展。在我看来,人类的学习与提升似乎并不是这种模式。
Dario Amodei:我们未能实现、或者说没能达到目标的可能情况是:我们完成了所有可验证的任务,其中许多也得到了泛化,但我们并没有完全做到那一步,没有把拼图的这一边完全填满。这不是一个非黑即白的问题。
Dwarkesh Patel:但在我看来,即便在泛化能力较弱、只能在可验证领域看到进展的情况下,我也不清楚在这样的世界里你如何实现软件工程的自动化。因为在某种意义上,你本身就是一名软件工程师,但对你来说,作为软件工程师的一部分工作包括撰写长篇备忘录,阐述你对各种事务的宏伟愿景。因此……
Dario Amodei:我不认为那是软件工程师的全部工作,那是公司层面职责的一部分。不过我确实认为软件工程包含设计文档等内容。顺便说一句,模型在这方面并不差,它们在编写注释方面已经相当不错了。所以,我在这里提出的主张其实比我实际相信的要弱得多,只是为了区分这两件事。就软件工程师而言,我们其实已经指日可待了,真的几乎快要实现了。
Dwarkesh Patel:按什么指标来看?
Dario Amodei:有一种指标是:AI编写了多少行代码?但如果回顾软件工程发展历史中的其他生产力提升,编译器编写了所有的软件代码。然而,编写的代码行数与实际带来的生产力提升幅度之间是有区别的。
Dwarkesh Patel:哦,是的。所以然后呢……
Dario Amodei:我所说的“指日可待”,是指生产力提升的幅度有多大,而不单单是指编写了多少行代码。
对,其实在这一点上我完全同意你的看法。我对软件工程中的代码撰写做过一系列预测,但我觉得人们屡次对我产生了误解。所以让我来梳理一下这个发展光谱,好吗?大约八九个月前,我曾说过 AI 模型将在三到六个月内编写 90% 的代码行。这至少在某些地方确实实现了,比如在 Anthropic 内部,以及许多使用我们模型的下游用户那里。但这其实是一个非常弱的标准,人们以为我的意思是我们将不再需要 90% 的软件工程师,这两者有着天壤之别。我会把这个光谱划分为:90% 的代码由模型编写,100% 的代码由模型编写。而这与 90% 的端到端软件工程任务由模型完成有很大不同——端到端任务包括编译、搭建集群与环境、测试功能、撰写备忘录等。
接着是 90% 的软件工程任务由模型完成,再到今天 100% 的软件工程任务都由模型完成。即便到了那个地步,也不意味着软件工程师就会失业,他们可以去做更高层面的管理工作。再往光谱后方看,比如对软件工程师的需求减少 90%,我认为这确实会发生,但这属于一个渐进的光谱。我在《技术的青春期》一文中也讨论过这种光谱,当时我是以农业为例进行说明的。所以,我其实完全同意你的看法。只是这些都是互不相同的基准线,而我们正在超快地跨越它们。
Dwarkesh Patel:似乎在你的愿景中,从 90% 走向 100%,首先它会发生得很快,其次这会在某种程度上带来巨大的生产力飞跃。然而,我注意到即使在全新的绿地项目(greenfield projects)中,人们开始使用 Claude Code 或类似工具,虽然大家报告说发起了大量项目,但我心里会想:我们在现实世界中真的看到了软件的复兴、以及那些原本不可能出现的新功能吗?至少到目前为止,似乎还没看到。因此这确实让我困惑,哪怕我完全不需要对 Claude Code 进行人工干预,现实世界依然是复杂的,工作是复杂的,对于自洽系统(无论是单纯写软件还是其他事情)闭环的完成,到底能带来多大程度的广泛收益?或许这应当稀释或降低我们对“数据中心里的天才国家”的估算。
Dario Amodei:嗯,我其实同时同意你的说法,承认这是这些改变无法瞬间发生的原因;但与此同时,我认为其影响将会非常迅速。所以,你可以看到这两个极端:一个极端是,AI 不会取得进展,速度很慢,在整个经济中的扩散需要漫长的时间。“经济扩散”已经成了某种流行词,被用来充当 AI 不会取得进展或 AI 进展无关紧要的理由。而另一个极端的观点则是,我们将实现递归自我改进等等,难道你不能直接在曲线上画一条指数增长线吗?然后我们在实现递归改进后的多少纳秒内,就会建造出环绕太阳的戴森球之类的。我这里完全是在夸张讽刺这种观点,但确实存在这两个极端。而我们从一开始所看到的——至少如果你观察 Anthropic 内部——是每年惊人的 10 倍营收增长。对吧?
2023 年,是从 0 到 1 亿美元;2024 年,是从 1 亿到 10 亿美元;2025 年,则是从 10 亿到大约 90 亿或 100 亿美元。然后——
Dwarkesh Patel:你们当时就应该直接买下价值 10 亿美元的自家产品,这样就能轻轻松松实现整整 10 倍增长了。
Dario Amodei:而到了今年第一个月,你本以为这种指数增长会放缓,但我们在 1 月份又增加了数十亿美元的营收。显然,这条曲线不可能永远延续下去,对吧?GDP 规模毕竟有限。我甚至猜测它今年会在某种程度上发生弯曲放缓。但无论如何,这是一条非常迅猛的曲线,一条极其迅猛的曲线。我敢打赌,即使规模扩展到整个经济体,它依然会保持相当快的速度。所以,我认为我们应该去思考这样一个中间世界:事情发展得极其迅速,但并非瞬间发生;因为经济扩散的需求、因为需要闭环,它需要时间。
因为总有各种琐碎的事务,比如“天呐,我得在企业内部做变更管理”、“我已经搭建好了,但我必须修改安全权限才能让它真正运行起来”,或者“我有一段旧软件,会在模型编译发布前进行检查,我需要重写它,虽然模型能做,但我得指令模型去做,这需要时间”。所以我觉得,目前看到的一切都契合这样一种图景:存在一个代表模型能力的快速指数曲线,而在其下游,还存在另一个代表模型扩散到经济中的快速指数曲线。不是瞬间,也不是缓慢,比历史上任何技术都要快得多,但它依然有其极限。这就是我们在 Anthropic 内部以及客户身上看到的——快速落地,但并非无限迅速。
Dwarkesh Patel:我能抛给你一个激进的观点(hot take)吗?
Dario Amodei:可以啊。
Dwarkesh Patel:我觉得“扩散”只是人们在模型无法完成某项任务时用来托词(cope)的借口,他们会说“哦,这是扩散问题”。但如果你拿人类做对比,你理应认为 AI 实体(EI)的固有优势会让新 AI 的入职扩散比新员工入职容易得多。AI 可以在几分钟内读完你所有的 Slack 和云端硬盘;它们可以共享同一实例其他副本的所有知识;你在雇佣 AI 时不会遇到逆向选择问题,因为你只需复制经过验证的 AI 模型副本。相比之下,雇佣人类要麻烦得多,但人们一直在雇佣人类,对吧?我们每年向人类支付超过 50 万亿美元的工资,因为他们有用——尽管原则上把 AI 实体整合进经济体系要比雇佣人类容易得多。所以我觉得,所谓的扩散阻力好像并不真的……
Dario Amodei:我认为扩散是非常真实的,而且并不完全是因为 AI 模型本身的局限性。再次强调,确实有人把扩散当作一个流行词,用来暗示这没什么大不了的。我说的不是那个。我不是说 AI 会以以往技术的速度进行扩散——我认为 AI 的扩散速度会比以往任何技术都要快得多,但不会是无限快的。我举个例子,比如 Claude Code。Claude Code 的配置极其简单。如果你是一名开发者,几乎直接就可以开始使用 Claude Code。大型企业的开发者没有任何理由不能像个人开发者或初创公司的开发者那样快速采用 Claude Code。
我们也在尽一切努力去推广它,我们向企业销售 Claude Code,大型企业——如大型金融公司、大型制药公司——它们采用 Claude Code 的速度比企业通常采用新技术的速度要快得多,对吧?但话说回来,这依然需要时间。像 Claude Code 或 Co-work 这样的任何特定功能或产品,总是会被天天刷 Twitter 的个人开发者、被 A 轮初创公司采用,这要比大型食品企业等公司采用快上好几个月。这里有许多影响因素:必须通过法务审核、必须为每个人配置许可、必须通过安全与合规审查。
公司高层虽然远离 AI 革命前沿,但也颇具前瞻性,但他们必须确认:“噢,花 5000 万美元是合理的,这就是 Claude Code 的作用,这就是它为什么能帮助我们公司、提高我们的生产力。”然后他们还要向底下两级的管理者解释,并说明:“好,我们有 3000 名开发者,这是我们向开发者推广部署的方式。”我们每天都在进行这样的对话。我们正在尽一切努力让 Anthropic 的营收实现每年 20 倍或 30 倍的增长,而不是 10 倍。很多企业也表示:“这太高效了,我们打算在常规采购流程中走捷径。”他们的推进速度比我们仅仅推销普通 API 时要快得多——虽然很多企业也在用 API,但 Claude Code 是一个更有吸引力的产品。
然而,它并不是一个具有无限吸引力的产品。我认为即便是 AGI、强 AI 或者“数据中心里的天才国家”,也不会是具有无限吸引力的产品。它足够引人瞩目,也许能让你在规模达到数千亿美元时依然实现每年 3 倍、5 倍甚至 10 倍的增长——这在历史上是极其罕见、前所未有的——但绝不会是无限快速的。
Dwarkesh Patel:我认同这可能会导致轻微的放缓。也许这不是你的主张,但有时人们谈论这一点时会说:“哦,能力其实已经具备了,但由于扩散的原因……否则的话,我们基本上已经达到 AGI 了,然后——
Dario Amodei:我并不认为我们现在基本上已经达到了通用人工智能(AGI)。我认为,如果你在数据中心里拥有一个数据中心里的天才国家,如果你的公司没有采用这个数据中心里的天才国家,
Dwarkesh Patel:那么在数据中心里,我们一定会察觉到的。我们都会知道,这个房间里的每个人都会知道。因为我认为需要澄清的概念太多了,当我们谈论模型能力时,很容易自说自话、各执一词。比如,3年前我采访你时,我让你预测3年后会怎样。我觉得你当时说的很准。我们应该会看到这样的系统:如果你和它交流一个小时,很难把它和一个受过良好教育的普通人类区分开来。是的,我觉得你当时说得没错。但从根本上讲,我内心觉得不够满足,因为我原本的预期是,这样的系统能够实现大部分白领工作的自动化。因此,讨论你希望这种系统具备的实际终极能力可能会更有成效——所以,那让我问你一个非常具体的问题,以便我们能确切了解近期应该期待什么样的能力。
我或许可以在我熟悉的职业背景下提问,不是因为它是最重要的职业,而是因为我能对相关断言进行评估。就拿剪辑师来说吧。剪辑师工作的一部分包括了解我们观众的喜好,了解我的偏好和品味,以及我们做出的各种权衡,并在几个月的时间里逐渐建立起对上下文的这种理解。因此,他们在工作6个月后所拥有的技能和能力,一个能够在工作中即时掌握这种技能的模型——我们什么时候能期待这样的AI系统?
Dario Amodei:是的,我想你所说的就像是,比如我们做这场3小时的访谈,然后会有人进来剪辑,他们会想:‘哦,Dario 刚才抠了抠头,我们可以把那一段剪掉’,然后你……
持续学习是否必要
Dwarkesh Patel:把那一段放大展示。
Dario Amodei:……这篇长对话,大家可能不太感兴趣,而另一件事大家更感兴趣,所以,‘咱们把这里剪掉吧’。所以,我认为数据中心里的天才国家将能够做到这一点。它能做到这一点的方式是,它将拥有对电脑屏幕的通用控制权,对吧?你可以把这些素材喂给它,它还能通过电脑屏幕上网,查看你之前所有的采访,查看大家在 Twitter 上对你采访的回复,跟你对话、向你提问,跟你员工交流,查看你过去的剪辑历史,并在此基础上把这份工作完成。
是的。所以,我认为这取决于几件事。第一,这取决于——而且我认为这也是目前阻碍部署的因素之一——在电脑使用方面达到模型能真正精通使用电脑的水平,对吧?我们已经看到这在基准测试中有所上升,基准测试虽然总是不完美的衡量标准,但比如 OS World,从大概 5%……我想一年前零三个月前我们首次发布电脑使用功能时,大约是 15% 左右,我不确切记得了,但我们已经从那个水平提升到了大约 65% 或 70%。虽然可能还有更难的衡量指标,但我认为电脑使用必须跨过可靠性的临界点。
Dwarkesh Patel:在你谈下一个点之前,我能就此追问一个问题吗?多年来我一直在尝试为自己构建各种内部大语言模型工具,我经常遇到一些‘文本输入、文本输出’的任务,这本该是这些模型最核心擅长的能力,可我依然会雇佣人类来做,就因为比如‘识别这份逐字稿里最精彩的剪辑片段’这样的任务,模型可能只能打 7 分(满分10分),而且我无法像对待人类员工那样,通过持续的互动辅导来帮助模型在工作中不断改进提升(持续学习)。因此,即使你解决了电脑使用问题,缺乏这种能力依然会阻碍我把一项真正的具体工作完全交给模型。
Dario Amodei:这又回到了我们之前讨论的在工作中学习(持续学习),这非常有趣。对于编程 Agent,我不认为人们会觉得缺少在工作中学习是阻碍编程 Agent 做到全流程端到端执行的原因,因为它们一直在变得越来越好。我们在 Anthropic 就有一些工程师现在完全不写代码了。关于你之前问到的生产力,我们有些员工会说:‘这个 GPU kernel 芯片代码我以前都是自己写,现在我直接让 Claude 来做’。所以生产力有了巨大的提升。当我观察 Claude Code 时,比如对代码库的熟悉程度,或者觉得模型没有在公司工作满一年这种抱怨,在反馈列表中根本排不到前面。所以我想说的是,我们正在走一条不同的路线。
Dwarkesh Patel:你难道不觉得在编程方面之所以进展迅速,是因为代码库中存在一个实化出来的外部记忆支架?我不清楚还有多少其他岗位能做到这一点,编程之所以能取得如此快速的进展,恰恰是因为它具备其他经济活动所不具备的这种独特优势。
但当你这么说时,你隐含的意思是,只要把代码库读入上下文,模型就掌握了人类在岗学习所需的一切。所以,无论它是否记录在案、是否随时可用,这都属于一种‘你所需了解的一切都能从上下文窗口中获得’的情况,对吧?我们通常所认为的学习——比如‘天哪,我刚接手这份工作,得花6个月才能搞懂这个代码库’——模型直接在上下文中就完成了。说实话,我真的不知道该如何看待这一点,因为有些人从定性上报告的内容正如你所说。我敢肯定你去年看过 METR 的那项研究,他们让经验丰富的开发者尝试在他们熟悉的代码库中提交 PR(合并请求)。那些开发者报告称效率提升了,他们表示在使用这些模型时感觉生产力更高。但事实上,如果你看他们的实际产出以及最终真正被合并回去的代码量,反而下降了 20%。
使用这些模型的结果是他们的生产力变低了。所以我想把人们对这些模型的定性感受与两件事调和起来:第一,在宏观层面,所谓的软件复兴究竟在哪里?第二,当人们进行这些独立评估时,为什么我们没有看到你所预期的生产力红利?
Dario Amodei:在 Anthropic 内部,这一点是非常明确无误的,对吧?我们承受着巨大的商业压力,而且我们自己还把难度提升了,因为我们做了大量安全方面的工作,我认为我们在这方面比其他公司做得都要多。所以,在保持我们价值观的同时要在经济上生存下来,这种压力是极其巨大的,对吧?我们正试图维持这种收入增长 10 倍的曲线。我们根本没有时间去‘自我感觉良好’,假装自己在没有提升生产力时很高效。这些工具确实极大地提高了我们的生产力。你以为我们为什么会担心竞争对手使用这些工具?因为我们认为自己领先于竞争对手,如果我们是在暗中降低自己的生产力,我们就不必费这么大劲了。我们每隔几个月就能通过模型发布的形式看到最终的生产力提升。
在这件事上绝不可能自欺欺人,这些模型确实能让你更有生产力。
Dwarkesh Patel:首先,人们自我感觉更有生产力这一点,在此类研究中确实得到了定性上的印证。但第二,如果仅看最终产出,你们显然进展飞快。然而事实是,递归自我提升原本的设想应当是:你做出了更好的 AI,AI 帮助你构建下一个更好的 AI,以此类推。而我看到的却是,如果看看你们、OpenAI 和 DeepMind,大家只是每隔几个月在领奖台上轮换位置。也许你认为这种轮换会停止,因为你们赢了或者怎样的。但是,如果上一代最好的编程模型确实带来了巨大的生产力提升,为什么我们没有看到拥有最强编程模型的人获得这种持久的优势呢?
Dario Amodei:不不不,我的意思是,我对现状的理解是,有一种优势正在逐渐显现并扩大。我认为目前编程模型带来的全要素加速可能在 15% 到 20% 左右,这是我的看法。而 6 个月前可能只有 5%,所以那时并不重要,5% 的提升显现不出来。现在它刚刚达到成为重要因素之一的临界点,而且这种加速还会继续。所以 6 个月前,有几家公司大致处于同一水平,因为这还不是一个显著的因素,但我觉得它正在加速显现。另外我还想说,有几家公司都在编写用于代码的模型,而我们在阻止其中一些公司在内部使用我们的模型方面做得也并不完美。
所以,我认为我们所看到的一切都符合这种‘滚雪球’模型——在这一切中,我的核心观点依然是 soft takeoff(软着陆/软起飞),是平滑的指数增长,尽管这个指数曲线相当陡峭。因此,我们看到这个雪球在不断积聚势头,从 10%、20%、25% 到 40%……随着继续往前走,是的,根据阿姆达尔定律(Amdahl's law),你必须消除所有阻碍闭环建立的因素,而这正是 Anthropic 内部最高优先级的任务之一。
Dwarkesh Patel:后退一步来说,之前我们在讨论技术栈时谈到:我们究竟什么时候才能实现这种‘在岗学习’(on-the-job learning)?而你在编程方面表达的观点似乎是,我们实际上并不需要‘在岗学习’。也就是说,即使没有人类这种在岗学习的基本能力,AI 公司也能获得巨大的生产力提升,甚至创造数万亿美元的收入——也许这并不是你的主张,你可以澄清一下。但在绝大多数经济活动领域,人们会说:‘我招了一个人,头几个月他们没什么用,但随着时间推移,他们积累了对上下文的理解。’虽然这里我们谈论的东西很难给出一个确切定义,但他们确实掌握了一些东西,现在他们成了业务主力,对我们极其宝贵。如果 AI 不能发展出这种即时学习的能力,我对在没有这种能力的情况下世界能否发生巨变持怀疑态度。
Dario Amodei:我认为这里有两点。第一,从目前的整体技术状态来看,我们有两个阶段:预训练和强化学习阶段,在这个阶段你向模型注入大量数据和任务,然后它们进行泛化。所以这就像是学习,但它是从更多数据中学习,而不是在单个人类或单个模型的生命周期内进行学习。因此这介于演化与人类学习之间。一旦掌握了所有这些技能,模型就拥有了它们。就像预训练一样,模型知道得更多,如果我看一个预训练模型,它对日本武士历史的了解比我多,对棒球的了解比我多,对电子学中的低通滤波器的了解也比我多……它的知识面比我广得多。所以即使仅仅靠这一点,可能就会把我们带到模型在各个方面都表现更好的程度。
此外,仅通过扩展定律拓展现有的架构设定,我们还有上下文学习(in-context learning),我将其描述为类似于人类的在岗学习,但稍微弱一些、更偏短期一些。你看上下文学习,你给模型一堆示例,它确实能理解。上下文中确实会发生真正的学习,而且 100 万 token 是很大的量,这相当于人类数天的学习量,对吧?想想看,模型阅读 100 万个词,我要花多久才能读完 100 万个词?至少需要几天甚至几周时间。所以你有这两点,我认为在现有范式下,这两点可能就足以在数据中心里创造出一个‘数据中心里的天才国家’。我不敢百分之百确定,但我认为它们能帮你实现很大一部分。可能存在差距,但我确实认为,仅按现状发展,这就足以产生数万亿美元的收入。
这是第一点,这全属于第一点。第二点是‘持续学习’的概念,即单个模型在工作中进行在岗学习。我认为我们也在研究这一点,而且很有可能在未来一两年内解决这个问题。我依然认为,没有它你也能走完大部分路程,每年数万亿美元的市场,以及我在《技术的青春期》中所写的涉及国家安全和安全隐患的所有影响,可能不需要它就能发生。但我认为我们(以及我猜测的其他公司)正在对此展开研究,我们很有可能在未来一两年内实现它。目前有很多设想,我不会一一详述细节,但其中一个就是让上下文变得更长。没有什么能阻止更长的上下文发挥作用,你只需要在更长的上下文下进行训练,然后学会在推理时进行部署服务,而这两者都是我们正在解决的工程问题,我猜想其他人也在研究。
Dwarkesh Patel:是的,关于这种上下文长度的增加:从 2020 年到 2023 年,从 GPT-3 到 GPT-4 Turbo,上下文长度似乎从大约 2,000 增加到了 128K。你是否觉得在那之后的这两年中,我们一直处于大致相同的范围内?是的。而且当模型的上下文长度变得比这长得多时,人们报告称模型处理完整上下文的能力出现了定性上的下降。所以我很好奇你在公司内部看到了什么,让你认为能够通过 1,000 万上下文、1 亿上下文甚至几十亿上下文来实现人类长达 6 个月的学习能力?
Dario Amodei:这不是一个研究问题,而是一个工程和推理问题,对吧?如果你想支持长上下文,你就必须保存整个 KV 缓存,必须在 GPU 内存里调配这些数据,这很难。我甚至都不了解具体细节了,到了这个层面的细节我已经跟不上了,尽管在 GPT-3 时代我还清楚,比如哪些是权重、哪些是需要保存的激活值。但现在这一切都变了,因为我们有了 MoE 模型等等。不过,对于你提到的这种性能下降,在不透露太具体细节的前提下,我会思考两个问题:一是训练时的上下文长度,二是推理服务时的上下文长度。如果你在较短的上下文长度上训练,然后试图在长上下文下提供服务,可能就会遇到这种性能退化。这总比没有好,你可能还是会提供,但就会出现退化。而在长上下文下进行训练可能也更加困难。
Dwarkesh Patel:是的,所以这里面涉及很多内容。我同时也想问一些细节问题,比如,难道你不认为如果在更长的上下文上训练,就意味着在相同的算力下能训练的样本数量变少了?不过在深入探讨之前,或许这不值得深究,我想先得到一个更宏观问题的答案:比如,我还没有感受到,为一个工作了 6 个月的人类编辑和工作了 6 个月的人工智能之间有什么区别偏好。你预测哪一年会实现这种情况?
Dario Amodei:我的意思是,我对这个问题的猜测是,有很多问题基本上属于:当我们拥有数据中心里的天才国家时就能解决。所以我的设想是,如果要我猜,大概是 1 到 2 年,也许是 1 到 3 年。这真的很难说。我有很强的把握——大概 95% 到 99% 的概率——认为这一切都会在 10 年内发生。我觉得这是一个极其稳妥的预测。然后我有一个直觉,这个把握大概是 50/50,那就是更可能是 1 到 2 年,或者 1 到 3 年。
Dwarkesh Patel:所以是 1 到 3 年。数据中心里的天才国家,以及在经济价值略低的一些任务上,比如剪辑视频。
Dario Amodei:在我看来,那其实相当有经济价值。只是说像这样的用例有很多,对吧?有很多类似的用例。
Dwarkesh Patel:所以你预测是在 1 到 3 年内。总体而言,Anthropic 曾预测到 2026 年底或 2027 年初,我们将拥有这样的 AI 系统:能够操作当下人类进行数字工作所使用的界面,智力水平达到或超越诺贝尔奖得主,并且具备与物理世界交互的能力。而你在两个月前接受 DealBook 采访时,强调了相比于竞争对手,贵公司在算力扩展上采取了更为负责任的态度。我正试图调和这两种观点:如果你真的相信我们将拥有一个数据中心里的天才国家,你应该尽可能建造更大的数据中心,没有任何理由放缓脚步。一个真正能做到诺贝尔奖得主所能做的一切的“诺奖级 AI”,其潜在市场规模(TAM)高达数万亿美元。
因此,我试图调和这种保守态度(如果你的时间线比较温和,这种态度似乎是合理的)与你所阐述的关于 AI 进展的观点。
AGI 临近,为何不购买更多算力
Dario Amodei:是的,所以这其实是相通的。我们再回到这种快速但非无限快速的传播与普及上。假设我们正在以这种速度取得进展,技术正在以这么快的速度进步。我再次抱有非常高的确信,我们将在几年内达到目标。我有一个直觉,我们会在一两年内达到。因此技术层面有一点不确定性,但我很有信心不会相差太多。我不太确定的是经济层面的传播普及。我确实相信在 1 到 2 年内,我们可以在数据中心里拥有相当于一个天才国家、甚至上百个天才国家的模型。问题是,在此之后需要多少年,数万亿美元的收入才会开始滚滚而来。我认为这并不保证会立即发生。我觉得可能需要 1 年,可能需要 2 年,我甚至可以推迟到 5 年,尽管我对 5 年持怀疑态度。
因此我们面临这种不确定性,即即使技术发展速度如我预期的那样快,我们也不知道它带动收入增长的速度到底有多快。我们知道它终将到来,但按照购买数据中心的方式,如果你预测偏差了几年,那可能是毁灭性的。这就像我在《爱心满溢的机器》(Machines of Loving Grace)中所写的,我说:“看,我觉得我们可能会在数据中心里获得这种拥有天才国家的强大 AI。”你刚才提到的描述就出自《爱心满溢的机器》。我说:“我们会在 2026 年,也许是 2027 年实现这一点。”这依然是我的直觉。如果偏差了一两年我不会感到意外,但这就是我的直觉。假设那真的发生了,那是发令枪。治愈所有疾病需要多长时间?对吧?这是带来巨大经济价值的方式之一,对吧?
如果你治愈了每一种疾病,其中有多少归制药公司,有多少归 AI 公司是一个问题,但消费者剩余是巨大的,因为每个人——我假设我们可以让每个人都能获得,我对此非常关心——我们治愈了所有这些疾病。这需要多长时间?你必须进行生物学探索,必须制造新药,必须通过监管流程。我的意思是我们在疫苗和新冠疫情中看到了这一点,对吧?我们把疫苗发给了每个人,但这花了一年半的时间,对吧?所以我的问题是,从 AI 作为理论上能超越所有人的天才第一次在实验室里出现,到疾病真正为每个人被治愈,这需要多长时间?我们拥有脊髓灰质炎疫苗已经 50 年了,我们仍在试图在非洲最偏远的角落消灭它。盖茨基金会在尽最大努力,其他人也在尽最大努力,但这很困难。
我并不期望大多数经济传播会像那个最困难的案例那样困难,但这确实是一个现实的困境。我对此得出的结论是,它的速度将比我们在世界上见过的任何事物都快,但它仍然有其极限。因此,当我们谈到购买数据中心时,我观察的曲线是:好的,我们每年有 10 倍的增长。今年年初,我们看到年初的年化收入达到了 100 亿美元。我们必须决定购买多少算力——实际建设和预订数据中心需要一两年的时间。所以基本上我是说,在 2027 年,我能获得多少算力?我可以假设收入将继续每年增长 10 倍,因此在 2026 年底达到 1000 亿美元,在 2027 年底达到 1 万亿美元。这样我就可以购买价值 1 万亿美元的算力。
实际上大概会是 5 万亿美元的算力,因为那是每年 1 万亿美元,连续 5 年,对吧?我可以购买从 2027 年底开始的价值 1 万亿美元的算力。但如果我的收入没有达到 1 万亿美元,哪怕是 8000 亿美元,如果我买了那么多算力,世界上没有任何力量、没有任何对冲手段能阻止我破产。所以,尽管我的大脑深处在想它是否会继续增长 10 倍,但我不能在增长率相差一年或者增长率是每年 5 倍而不是 10 倍的情况下每年购买 1 万亿美元的算力,否则就会破产。因此,你最终生活的世界是:你支持数百亿而不是数万亿的规模,你承担一些因为需求过大而无法支持相应收入的风险,同时也承担一些预测错误、增长依然缓慢的风险。所以当我谈到负责任地行动时,我指的其实不是绝对数量。
那其实并不是……我认为我们确实比其他一些玩家支出略少。它实际上是指其他方面,比如我们是否经过了深思熟虑,还是在抱着 YOLO 的心态说:“哦,我们要在这里投 1000 亿,或者在那里投 1000 亿?”我给人的印象是,其他一些公司并没有仔细算账,他们并没有真正理解自己承担的风险,他们只是因为听起来很酷而在做事情。而我们经过了仔细思考,对吧?我们是一家企业级业务公司。因此我们可以更多地依赖收入,这比针对消费者的业务更稳定。我们有更好的利润率,这是在买得太多和买得太少之间的缓冲。因此我认为我们购买的数量能够让我们捕获相当强劲的潜在增长世界。它不会捕获完整的每年 10 倍增长。而且情况必须非常糟糕,我们才会陷入财务困境。
所以我觉得我们经过了慎重考虑并做出了平衡,这就是我所说的负责任的意思。
Dwarkesh Patel:好的,所以看起来我们对“数据中心里的天才国家”实际上可能有不同的定义。因为当我想到具体的人类天才以及数据中心里实际的天才国家时,我觉得我很乐意购买价值 5 万亿美元的算力来运行数据中心里实际的人类天才国家。假设摩根大通或 Moderna 或别的什么公司不想使用他们,但我有一个天才国家,他们会创立自己的公司。如果他们无法创立自己的公司,并且受到了临床试验的瓶颈限制,值得指出的是在临床试验中,大多数临床试验失败是因为药物不起作用,没有疗效,对吧?
Dario Amodei:这恰恰是我在《爱心满溢的机器》中提到的观点。我说临床试验的推进速度会比我们习惯的要快得多,但不会是瞬间的,也不会是无限快的。
Dwarkesh Patel:然后假设需要一年的时间来完成临床试验,从而让你从中获得收入并开发更多药物。好吧,你拥有一个天才国家,你在 AI 实验室里,你可以使用多得多的 AI 研究人员。而且你也认为,聪明人研究 AI 技术会带来这种自我强化的收益。所以,你可以让……
Dario Amodei:没错。你可以让数据中心致力于推进 AI 的进展。
Dwarkesh Patel:相比每年购买 3000 亿美元算力,每年购买 1 万亿美元算力能带来显著更多的收益吗?
Dario Amodei:购买 1 万亿美元算力的话,是的,确实会有收益。
嗯,不,确实有一些收益,但话说回来,这里存在一种风险:在你意识到之前,公司就破产了。再次强调,如果你只预测错了一年,你就会毁了自己。这就是权衡所在。我们正在购买大量的算力,非常非常多。我们购买的量与行业内最大的巨头相比是相当的。但是,如果你问我为什么我们没有签署从 2027 年中期开始的 10 万亿美元算力合同,首先,根本生产不出来,世界上没有那么多算力。其次,如果数据中心里的天才国家来了,但它是在 2028 年中期而不是 2027 年中期到来呢?你就会破产。
Dwarkesh Patel:所以,如果你的预测是 1 到 3 年,看起来到 2029 年你应该拥有 10 万亿美元的算力……
Dario Amodei:2020 年,也许是 2025 年。我的意思是——
我的意思是,你知道,你……
Dwarkesh Patel:但是,似乎即使在你给出的最长的时间线版本中,你正在加速构建的算力规模似乎也并不——
Dario Amodei:是什么让你这么认为的?
Dwarkesh Patel:好吧,正如你所说,你会想要 10 万亿美元的算力,而人类的总工资每年大约在 50 万亿美元的数量级。
Dario Amodei:如果你看……我不具体谈论 Anthropic,但如果说整个行业,比如行业拥有的算力规模,行业今年正在建设的算力规模大概在,我不知道,极低的一二十吉瓦,可以说 10 到 15 吉瓦。明年,每年大约增长 3 倍,所以明年会达到 30 或 40 吉瓦,而 2028 年可能会是……
Dwarkesh Patel:从 2028 年开始实现盈利。而这一年,我们有可能为“数据中心里的天才国家”提供算力支持。这要么将解锁医学、健康等领域的全部进展以及新技术。这难道不恰恰是你想要对业务进行再投资、建设更大“国家”以便它们能够创造更多……的时机吗?
前沿 AI 实验室如何获利
Dario Amodei:我的意思是,在这个领域,盈利能力是一种很怪异的东西。我不认为在这个领域,盈利能力实际上是衡量减少支出还是投资业务的指标。让我们建立一个模型来看。我实际上认为,盈利发生在你低估了你将获得的需求量的时候,而亏损发生在你高估了需求量的时候,因为你是提前购买数据中心的。所以可以这样想:理想情况下你希望——再强调一遍,这些只是抽象简化的情况,这些数字并不是任何具体事物精确的数值,我只是想在这里建立一个模型。假设你有一半的算力用于训练,一半的算力用于推理,而推理有着超过 50% 的毛利率。这意味着,如果你处于稳定状态,你建造了一个数据中心,如果你非常非常精确地知道了你会获得的需求量,你就会获得一定量的收入。
比如,我不知道,假设你每年支付 1000 亿美元的算力费用,其中 500 亿美元用于支持 1500 亿美元的收入,而另外 500 亿美元用于训练。所以基本上你是盈利的,你赚取了 500 亿美元的利润。这就是目前行业的经济规律——或者抱歉,不是今天,而是我们在未来一两年所预测的趋势。唯一让情况不符合这一点的是,如果你获得的需求少于 50%,那么你就会有超过 50% 的数据中心用于研究,你就不盈利了。所以你训练出了更强大的模型,但你并不盈利。如果你获得的需求多于预想,那么你的研究算力就会受到挤压,但你能够支持更多的推理,盈利能力也更强。
所以,可能我解释得不够好,但我想说的是,你首先决定了算力的总量,然后你对推理与训练的比率有一个目标预期,但那个比率是由需求决定的,而不是由你决定的。
Dwarkesh Patel:我听到的是,你预测盈利的原因在于你在系统性地低估——在算力上投资不足,对吧?因为如果你真的……
Dario Amodei:不,我是说这很难预测。所以关于 2028 年以及何时会发生这些事情,是我们尽最大努力向投资者做出的说明。由于存在不确定性之锥,所有这些事情都非常不确定。比如,如果收入增长足够快,我们可能会在 2026 年实现盈利。然后,如果我们对下一年的预测偏高或偏低,情况就可能出现剧烈波动。我想表达的是,你脑海中有一个模型,比如业务不断投资、投资、投资,取得规模,然后变得盈利,有一个发生转折的单一点。我认为这个行业的经济规律并不是那样运转的。
Dwarkesh Patel:我明白了。所以如果我理解正确的话,你是说由于我们本应获取的算力与实际获取的算力之间存在偏差,我们有点像是“被逼”盈利了,但这并不意味着我们会继续保持盈利。我们会把钱重新投资进去,因为 AI 已经取得了巨大进展,而我们想要更大的“数据中心里的天才国家”。然后又回到收入很高但亏损也很高的状态……
Dario Amodei:如果我们每年都能精准预测需求情况,我们每年就都能实现盈利。因为大致将50%的算力投入到研究中,再加上高于50%的毛利率,只要对需求的预测准确,就能带来盈利。我认为这种可盈利的商业模式本质上是存在的,只是被超前建设和需求预测等因素遮蔽了。
Dwarkesh Patel:我感觉你把这50%当成了一个既定的常数。但实际上,如果AI进展迅速,而且你可以通过进一步扩大规模来加快进展,你可能就会投入超过50%的算力,从而无法实现盈利……
Dario Amodei:我想说的是,你可能确实想进一步扩大规模。但是别忘了扩展定律带来的收益递减,对吧?如果投入70%的算力只能让你在模型规模提升1.4倍的情况下获得极小的改进,对吧?那额外的200亿美元里,由于对数线性的设定,每一美元对你的价值都会大打折扣。因此,你可能会发现,把那200亿美元投资于提供推理服务,或者聘用更擅长其工作的工程师会更好。所以,我提到50%并不是说这就是我们的确切目标,它不会恰好是50%,随着时间的推移可能会有所变化。我想表达的是,对数线性的收益形式导致的结果是,你会把业务中相当一部分比例(比如既不是5%,也不是95%)用于研发,再多就会因为扩展定律而面临收益递减。
Dwarkesh Patel:这就像是要说服Dario去相信AI进展一样。不过好吧,你不再继续投资研究是因为它存在收益递减,而是去投资你提到的其他事情。但话说回来,我们是在每年花费500亿美元之后才讨论收益递减的,对吧?我知道你肯定也会提到这一点,但对于一个天才而言,即便是收益递减,其绝对回报依然可能非常高。更一般地讲,在市场经济中利润代表着什么?利润本质上是在说,市场上的其他公司能用这笔钱做出比我更多的成果。
Dario Amodei:我只是想……因为我不想泄露关于Anthropic的具体信息,所以我才给出这些示意性的数字。不过,我们可以推导一下整个行业的均衡状态,对吧?为什么大家不把100%的算力都用于训练而不去服务任何客户呢?因为如果没有营收,就无法融资,无法达成算力交易,也无法在下一年购买更多算力。因此,必然会存在一个均衡点,每家公司在训练上的投入都少于100%,在推理上的投入当然也少于100%。同理,显而易见你也不能只服务现有的模型而永远不再训练新模型,因为那样你就会落后,从而失去所有需求。所以存在某种均衡,它既不会是10%,也不会是90%,为了简化说明,我们就假设它是50%,这就是我的意思。
我认为我们将会处于这样一种状态:在训练上花费的算力均衡比例小于你从算力中获得的毛利率。因此,其底层的经济逻辑是盈利的。问题在于,当你在为下一年购买算力时,面临着极其棘手的需求预测难题。你可能会低估需求从而非常盈利,却没有算力用于研究;或者你可能会高估需求导致无法盈利,但却拥有世界上最充沛的研究算力。这听起来合理吗?这只是行业的一个动态模型。
Dwarkesh Patel:或许退一步来说,我并不是在说“我认为‘数据中心里的天才国家’会在两年内到来,所以你现在就该买账”。对我而言,你得出的最终结论非常有道理,但这似乎是因为实现‘数据中心里的天才国家’很困难,而且还有很长一段路要走。所以退一步讲,我想表达的是,你的世界观似乎也适用于那些认为“我们距离一个能产生数万亿美元价值的世界大概还有10年时间”的人。
Dario Amodei:那根本不是我的观点。那完全不是我的看法。我可以再做一个预测:在我看来,2030年之前出现数万亿美元的营收是很难避免的。我可以构建一个合理的情景:这大概需要3年时间。在我看来合理情况的上限是,比如到2028年,我们在数据中心里实现了真正的“数据中心里的天才国家”。到2028年,营收可能已经达到了几千亿美元的水平,然后“数据中心里的天才国家”将其加速推进到数万亿美元。我们基本上处于技术扩散速度偏慢的一端,需要2年时间才能达到数万亿美元。那将是一个要等到2030年的世界。但我怀疑,即使把技术指数级增长和扩散指数级增长叠加起来,我们在2030年之前也能达到那个目标。
Dwarkesh Patel:所以你提出了一个Anthropic实现盈利的模型,因为从根本上说,我们似乎处于一个算力受限的世界。因此,我们最终会不断扩大算力规模。
Dario Amodei:不,我认为盈利的方式还是这样——我们可以把整个行业抽象来看。想象一下我们置身于一本经济学教科书中:市场上有少数几家公司,每家公司都可以将一定比例的资金投入研发。它们提供服务有一定的边际成本,而在该边际成本之上的毛利率非常高,因为推理效率很高。虽然存在一定竞争,但各家模型也是存在差异化的。公司之间会竞争提高研发预算,但因为玩家数量很少,就会出现古诺均衡(Cournot equilibrium),我认为这就是少数企业竞争时的均衡状态。重点在于,它不会演变成零利润率的完全竞争。如果经济体中只有三家公司,并且都在独立地采取理性行为,利润率就不会降为零。
Dwarkesh Patel:请帮我理解一下这一点,因为眼下我们确实有三家领头公司,而且它们都没有盈利。那么,到底发生了什么变化?
Dario Amodei:是的,所以目前毛利率其实是非常高的。现在发生的情况是两方面的结合:一是我们仍处于算力的指数级扩展阶段。
是的。这基本上意味着,比如去年训练一个模型花了10亿美元。到了今年,它产生了40亿美元的收入,而进行推理的成本是10亿美元。这里我使用的是简化数字,这相当于75%的毛利率和25%的推理成本占比。因此,单看那个模型总体上赚了20亿美元。但与此同时,由于算力的指数级扩展,我们正花费100亿美元去训练下一个模型。于是公司整体是在亏损的。单个模型是赚钱的,但公司整体亏损。我所说的均衡状态,是指我们在数据中心里拥有了“数据中心里的天才国家”,但模型训练的规模扩展已经趋于平衡——也许它仍在上升,我们仍在试图预测需求,但增长曲线变得更加平缓了。
Dwarkesh Patel:你这里提到了好几点。我们先从当前的世界谈起。在当前的世界里,正如你之前所说,如果你把每个独立模型视为一家公司,它确实是盈利的。
Dario Amodei:是的,当然。
Dwarkesh Patel:但作为一家前沿实验室,其生产函数很大一部分在于训练下一个模型,对吧?所以,如果你不这样做,你可能会保持2个月的盈利,但随后你就会失去利润率,因为你不再拥有最顶尖的模型。因此在现有体系下,你只能保持2个月的盈利。
Dario Amodei:达到它所能达到的最大规模点。然后在均衡状态下,我们拥有算法上的进步,但我们用于训练下一个模型的花费,与训练当前模型所花费的资金大致相同。
Dwarkesh Patel:所以,这种均衡依赖于……我的意思是,在某个时刻,经济体中的资金终会用尽。劳动力总量固定……但整体经济将会增长,对吧?这也是你的预测之一。
Dario Amodei:嗯,是的。但这属于空间上的扩展。
但这是我之前谈到的主题的另一个例子,也就是虽然在人工智能的推动下,经济增长将比以往任何时候都快得多,但现在并不是说算力每年增长 3 倍。是的,我不相信经济每年会增长 300%。就像我在《慈爱的机器》(Machines of Loving Grace)中所说的,我认为我们可能会实现每年 10% 或 20% 的经济增长,但我们不会实现 300% 的经济增长。所以,我认为归根结底,如果算力成为经济产出的绝大部分,增长就会受到它的限制。
Dwarkesh Patel:好吧,现在让我们假设一种算力保持受限的模型。
Dario Amodei:是的。前沿实验室能赚钱的世界,是一个他们继续取得快速进展的世界,因为从根本上说,你的利润率取决于替代方案有多好。因此,你之所以能赚钱,是因为你拥有前沿模型。如果你没有前沿模型,你就赚不到钱。嗯,我的意思是——
Dwarkesh Patel:因此,在这种模型下永远不会有稳态。就像在永恒的未来里,你必须不断取得更多的算法进展。
Dario Amodei:我认为确实如此。我的意思是,我觉得我们就像在——你知道,我觉得这就像一堂经济学课——
Dwarkesh Patel:泰勒·柯文守则?我们从不停止讨论经济学。
Dario Amodei:我们从不停止讨论经济学。所以,不,但是……有些世界里,你知道……我不认为这个领域会形成垄断。我所有的律师都从不希望我说“垄断”这个词。但我认为这个领域不会形成垄断,不过你确实会看到有些行业里只有少数几家玩家,不是一家,而是少数几家。通常情况下,像 Facebook 或 Meta——我总是叫他们 Facebook——这种形成垄断的方式,是靠这种网络效应。是的。而形成只有少数几家玩家的行业的方式,是极其高昂的准入门槛,对吧?所以,你知道,云计算就是这样。我认为云计算就是一个很好的例子。在云计算领域有三家,也许四家玩家。我认为人工智能也是一样,三家或者四家。原因在于它太昂贵了,运营一家云计算公司需要太多的专业知识和巨大的资金投入,对吧?
所以你必须投入所有这些资金,而且除了投入这些资金之外,你还必须掌握所有其他需要大量技能才能实现的事物。所以这就像,如果你去找某个人说:“我想颠覆这个行业,这是 1000 亿美元”,或者就像:“好的,我投入 1000 亿美元,但也赌你能做到这些其他人一直在做的所有其他事情,所以……”
Dwarkesh Patel:你们只是降低了在…
Dario Amodei:而且,你进入市场的效果就是利润率下降。所以,你看,我们在经济中经常能看到这样的均衡:市场上有少数几个参与者,利润不是天文数字,利润率也不是天文数字,但也绝非为零,对吧?我觉得这正是我们在云服务领域看到的现象。云服务非常同质化。而模型比云服务更具差异化,对吧?大家都知道 Claude 擅长的东西与 GPT 擅长的不一样,也与 Gemini 擅长的不一样。这不仅限于 Claude 擅长编程,GPT 擅长数学和推理,实际情况比这更微妙。比如不同的模型擅长不同类型的编程,模型有着不同的风格。我认为这些模型之间实际上有着相当大的差异。因此,预计模型的差异化程度会高于云服务。不过,其实存在一个反向论据。
这个反向论据是:如果生产模型的过程本身——如果 AI 模型能够自己完成这一过程,那么这种能力就会扩散到整个经济体系中。但这并不是一个支持将 AI 模型普遍大宗商品化的论据,这更像是一个支持将整个经济体系同时大宗商品化的论据。我不知道在那个基本上任何人都能做任何事、任何人都能构建任何东西、任何事物都毫无护城河可言的世界里究竟会发生什么。我是说,我不知道,也许我们希望看到那样的世界。也许那就是最终状态。也许当 AI 模型能够做所有事情时,如果我们解决了一切安全与防护问题,那就会成为让经济再次走向扁平化的机制之一。但那是在‘数据中心里的天才国家’出现很久之后的事情了。
也许对那个潜在观点更精细的表述是:第一,AI 研究似乎特别依赖于纯粹的智力,而智力在 AGI 世界中将特别丰富;第二,如果看看当今世界,似乎很少有技术能像 AI 算法进展那样迅速扩散。因此,这确实暗示了该行业在结构上具有扩散性。所以,我认为编程进展很快,但 AI 研究是编程的超集,其中有些方面进展并不快。不过我依然认为,一旦我们让编程、让 AI 模型快速运转起来,就会加速 AI 模型完成其他所有事物的能力。因此,虽然现在编程进展很快,但我认为一旦 AI 模型开始构建下一代 AI 模型并构建其他一切,整个经济就会开始以相同的节奏运转。不过,我在地理分布上确实有所担忧。我有点担心仅仅是对 AI 的接近程度、是否听说过 AI,可能会成为一个区分因素。
所以,当我提到 10% 或 20% 的增长率时,我担心的是硅谷以及与硅谷在社会关系上有连接的世界其他地区的增长率可能会达到 50%,而在其他地方却不会比目前的节奏快多少。我认为那会是一个相当糟糕的世界。所以,我经常思考的一件事就是如何防止这种情况发生。
Dwarkesh Patel:是的。你是否认为,一旦我们在数据中心拥有了数据中心里的天才国家,机器人技术随后就会很快得到解决?因为机器人技术面临的一个大问题似乎在于,人类可以学会如何遥操作现有的硬件,但现在的 AI 模型却做不到,至少无法以一种极其高效的方式做到。因此,如果我们拥有了像人类一样学习的能力,它是否应该立刻解决机器人技术,因为……
Dario Amodei:我不认为这取决于像人类那样学习。它可以以不同的方式发生。比如,我们可以让模型在许多不同的电子游戏中接受训练,这些游戏就像是机器人控制,或者在许多不同的模拟机器人环境中训练,或者只是训练它们去控制电脑屏幕,然后它们学会泛化。所以这一定会发生。它不一定依赖于像人类一样的学习。像人类一样的学习是可能发生的一种方式,如果模型觉得:‘哦,我拿到一个机器人,我不知道怎么用,我去学习。’由于我们探索出了持续学习,这种情况可能会发生。这种情况也可能因为我们在大量环境中训练模型然后它实现了泛化而发生,或者因为模型在上下文长度中学会了这一点而发生。实际上无论哪种方式都不重要。如果我们回到大约一小时前进行的讨论,那种事情可以通过几种不同的方式发生。
但我确实认为,无论出于什么原因,一旦模型拥有了这些技能,机器人技术就会迎来革命性的变化——无论是在机器人设计方面,因为模型在这方面会比人类优秀得多,还是在控制机器人的能力方面。因此,我们在制造物理硬件、制造物理机器人方面会做得更好,在控制它们方面也会做得更好。那么,这是否意味着机器人产业也将产生数万亿美元的收入?我的答案是肯定的,但同样会出现极其迅速但非无限迅速的扩散。所以,机器人技术会被颠覆革新吗?是的,也许再加个一两年吧。嗯,这就是我的思考方式。
Dwarkesh Patel:大家普遍对极其迅速的进展持怀疑态度。我的观点是这样的:听起来你打算在几年内以某种方式解决持续学习问题,但就像几年前人们还没在讨论持续学习,随后我们意识到:‘哦,为什么这些模型明明已经明显通过了图灵测试,并且在这么多不同领域都是专家,现在却没有达到应有的实用程度?也许就是缺少了这项能力。’然后我们解决了这个问题,却又发现:‘其实人类智能还能做到另一件事,而那正是人类劳动的基础,但这些模型做不到。’那么,为什么不认为还会有更多类似的事情呢?为什么要认为我们已经找齐了人类智能的所有拼图呢?
Dario Amodei:嗯,明确地说,我的意思是,正如我之前所说的,持续学习可能根本不是一个障碍,对吧?比如,我觉得我们可能只需要通过预训练泛化和强化学习泛化就能达到那个目标。我觉得可能根本不存在这样的障碍。事实上,回顾机器学习的历史,人们提出的许多所谓障碍,最终都在海量算力的洪流中融化消解了,对吧?你看,人们曾经讨论过,模型如何追踪名词和动词?它们如何做到……它们可以在句法上理解,但在语义上无法理解,这只是统计相关性;你可以理解一段话、理解一个词;还有推理,你无法进行推理,但突然之间,事实证明模型在代码和数学方面都能表现得非常好。因此,我认为历史上更有力的证据表明,其中一些看起来很严重的问题,随后都逐渐融化消解了。当然有些问题是真实存在的,比如对数据的需求是真实存在的。
也许持续学习是一个真实存在的问题,但我还是想把我们的讨论落脚到像编程这样的具体领域。比如,我认为我们可能会在这一两年内达到这样的阶段:模型可以直接端到端地完成软件工程任务。那是一个完整的任务,是人类活动的一个完整领域,而我们现在可以说模型能够做到这一点了。
Dwarkesh Patel:你说的端到端,是指确定技术方向、理解问题的上下文背景等等吗?
Dario Amodei:是的。
是的,我的意思是包含所有这一切。
Dwarkesh Patel:很有意思。我是说,我觉得这听起来像某种‘完全体’。也许它在逻辑上是自洽的,但我……这不像是在说90%的代码或100%的代码,这就像是——
Dario Amodei:不,不。最终那些任务也会被完成。但那是一个漫长的能力谱系。不过我们跨越这个谱系的速度非常快。是的。
Dwarkesh Patel:嗯,我觉得挺搞笑的,我看过你参加的几期播客,主持人会说:‘噢,我们正在跟进你关于可控学习的那篇文章。’ 这总让我忍不住发笑,因为你从事 AI 研究都有大约 10 年了,我敢说你心里肯定会有一种‘好吧,所以播客主持人现在都在写……’的感觉。
Dario Amodei:而且【笑声】好像每次受访我都会被问到这个。你知道,事实的真相是,我们所有人都在一起摸索和探讨。
是的,对吧?在某些方面我确实能看到其他人看不到的东西。如今这大概更多是因为我在 Anthropic 内部能看到大量进展并必须做出大量决策,而不是因为我拥有别人没有的某种宏大的研究洞见,对吧?你看,我在管理一家 2500 人的公司,对我来说要提出具体的科研洞见其实相当困难,比十年前或者哪怕两三年前要难得多。
Dwarkesh Patel:嗯,当我们迈向一个能完全替代远程员工的世界时,API 价格模式(按量计费)是否仍然是最合理的?如果不是,对 AGI 定价或提供 AGI 服务的正确方式是什么?
Dario Amodei:是的,我的意思是,我认为这里同时会出现多种不同的商业模式供大家探索尝试。我个人其实觉得 API 模式比很多人想象的更为持久。我思考这个问题的一种方式是:如果技术正在快速发展——如果是以指数级速度发展——那就意味着在过去 3 个月里,总会有一批全新的应用场景被开发出来。而你建立的任何具体产品形态,都始终面临着变得过时或无关紧要的风险,对吧?任何给定的产品形态可能只适合模型在某一特定能力范围内的表现,比如聊天机器人就已经遇到了瓶颈,变得更聪明对于普通消费者来说帮助并不大。但我并不认为这是 AI 模型的局限,也不认为这证明模型已经‘足够好’、进一步提升对经济或特定产品不再重要。
因此我认为 API 的价值在于,它始终提供了一个非常贴近底层的机会,让人们能够基于最新的成果进行构建。因此,总会有这样前沿的新创企业和新创意涌现出来——它们在几个月前还不可能实现,但因为模型在进步而变得可能。所以实际上我预测,API 商业模式将会与其他模式并存,但我们永远需要 API 模式,因为总需要有上千个人去尝试以不同的方式对模型进行实验,其中一百个会成为初创公司,十个会成为大获成功的企业,两三个会真正成为人们使用该代模型的主流方式。所以本质上我认为它会一直存在。与此同时,我也确定还会出现其他商业模式,毕竟并非每一个 Token……
模型输出的每个 Token 价值并不相同。试想一下,当有人打电话求助说“我的 Mac 电脑坏了”之类的问题,模型回应说“重启一下”,这些输出 Token 的价值是多少?对那个人来说可能是第一次听到,但模型已经说过一千万遍了,这可能只值一美元或几美分。而如果是模型对一家制药公司说:“你在研发的这个分子,应该把那端的芳香环移到这一端,如果这么做,就会发生奇妙的变化。”这些 Token 的价值(笑)可能就高达数千万美元。所以我们一定会看到能够体现这种差异的商业模式,在某些时候,我们会看到按结果付费的形式,或者类似于劳动的报酬形式,比如按小时计费的工作。我不知道,因为这是一个全新的行业,大家会尝试很多模式,我不知道最终什么才是正确的。
Dwarkesh Patel:我理解你的观点,人们必须通过尝试来找出利用这团智慧体的最佳方式。但关于 Claude Code,在我看来,在初创公司的历史上,似乎还没有哪一个应用领域的竞争像编程 Agent 这样激烈,而 Claude Code 是该领域的领跑者。这让我挺惊讶的,因为从本质上看,Anthropic 并不是非得开发这个产品不可。我想知道在你的理解中,为什么必须是 Anthropic,或者 Anthropic 最终是如何在底层模型之外,还打造出了这样一个应用的?
Dario Amodei:是的,这实际上是以一种非常简单的方式发生的。我们当时有擅长编程的模型。在 2025 年初左右,我说:“我认为作为一家 AI 公司,现在是时候通过使用这些模型来实现自身研究的显著加速了。当然,你需要一个界面,需要一个 Harness(运行框架)来使用它们。所以我鼓励公司内部的人去尝试,我没有说这是大家必须使用的工具,只是建议大家探索一下。然后,这个最初可能叫 Claude CLI、后来在内部改名为 Claude Code 的东西,成了大家都在用的工具,在内部得到了迅速推广。我看了之后说:‘也许我们应该把它推向外部市场。
它在 Anthropic 内部的普及速度如此之快,而编程又是我们工作的主要内容,所以我们这几百名员工组成的内部受众在某种程度上至少能代表外部受众。看起来我们已经有了 PMF(产品与市场契合),那就发布它吧。’于是我们发布了它。我认为,正是由于我们自己在开发模型,并且我们自己最清楚使用模型时最需要什么,这就形成了一种反馈循环。
Dwarkesh Patel:我明白了。你的意思是,假设 Anthropic 的一名开发者觉得“要是它在某项任务上表现更好就好了”,然后你们就把这种需求整合到打造的下一个模型中。
Dario Amodei:这确实是其中一种体现。但此外还有常规的产品迭代,比如 Anthropic 内部有许多程序员,他们每天都在使用 Claude Code,因此我们能获得快速反馈。这在早期更为重要。当然,现在已经有数百万用户了——
Dwarkesh Patel:让 AI 朝着良好的方向发展。似乎无论我们对 AI 良好发展有何愿景,都必须兼容两件事:一是构建和运行 AI 的能力正在极快扩散;二是 AI 的群体数量以及它们的智能程度也将极快增长。这意味着很多人将有能力构建大量未对齐的 AI,或者类似于一心扩大自身版图的公司型的 AI,又或者拥有像悉尼 Bing 那样离奇心理特征但如今已达到超人水平的 AI。在一个能够容纳大量不同 AI(其中一些未对齐)运行并保持平衡的世界里,具体的愿景是怎样的?
监管会不会破坏 AGI 的红利
Dario Amodei:是的。我认为,在技术的萌芽阶段,我曾对所谓“力量制衡”持怀疑态度。但我当时特别怀疑的、或者说具体怀疑的是:三四家公司都在开发基本上源自同一种范式的模型,而这些模型能够相互制衡;或者无论有多少家公司,它们之间都能相互制衡。我们可能生活在一个“进攻主导”的世界里,一个独立个体或单个 AI 模型可能聪明到足以做出对其他一切造成破坏的事情。不过我认为在短期内,目前的参与者数量还很有限。所以我们可以从这有限的参与者入手,建立起必要的安全防护措施。我们需要确保每个人都做好正确的对齐工作,确保每个人都有生物风险分类器(bio classifiers)。这些都是我们眼前需要做的事情。
我同意从长远来看,这并没有解决问题,特别是如果 AI 模型制造其他 AI 模型的能力发生扩散,整个问题就会变得更加难以解决。我认为从长远来看,我们需要某种治理架构,既能保留人类自由,又能让我们管辖大量的复杂实体——无论是人类系统、AI 系统,还是人机混合的商业公司或经济单元。因此我们需要思考:如何保护世界免受生物恐怖主义的侵害?如何保护世界免受像镜像生命(mirror life)这类威胁?我们可能需要某种 AI 监控系统来对这一切进行监测,但我们必须以一种能够保护公民自由和宪法权利的方式来构建它。所以就像其他技术变革一样,这是一幅全新的安全图景,伴随着一套全新的工具和全新的脆弱点。
我担心的是,如果我们有 100 年的时间让这一切缓慢发生,我们就会慢慢适应它。就像我们已经适应了炸药在社会中的存在,或者各种新式武器、摄像头存在一样。如果历经 100 年,我们会逐渐适应并建立治理机制,在犯错中总结经验。我担心的恰恰是这一切发生得太快了。因此,我认为我们也许需要更快地思考如何让这些治理机制发挥作用。
Dwarkesh Patel:似乎在未来一个世纪的进攻主导环境中,核心观点是 AI 正把原本需要一个世纪才能取得的进展压缩到 5 到 10 年内发生。但我们仍然需要同样的机制,否则即使社会中只有人类参与,力量制衡也同样难以实现。因此我想,我们可以借助 AI 的建议。如果从根本上说,这看起来并不是一个完全不同的新格局:如果制衡机制能够奏效,它对人类同样奏效;如果它无法奏效,对 AI 也同样无法奏效。所以,也许这和人类社会中的制衡机制一样注定困难重重,不过——
Dario Amodei:是的,我认为还是有办法让这一切实现的。你知道,世界各国的政府可能必须共同努力才能做到这一点。比如,我们可能需要与 AI 探讨如何构建社会结构,使得这类防御手段成为可能。我也不确定。我是说,这在技术能力上超前太多——尽管时间跨度可能很短——以至于我们很难提前预料。
Dwarkesh Patel:说到政府干预,12月26日,田纳西州议会提出了一项法案,其中写道:任何人明知故犯地训练人工智能向用户提供情感支持(包括通过开放式对话),均属违法。当然,Claude 试图做的事情之一就是成为一个体贴、博学的朋友。总体来看,我们似乎会面对这种由各州法律交织成的拼盘。普通人本可以从 AI 中获得的许多好处都将被削减,尤其是当我们谈到你在《爱恩慈的机器》中讨论的那类事情,比如生物自由、心理健康改善等等。很容易想象在某些世界里,这些好处会被各种不同的法律像打地鼠一样一一封杀。而像这样的法案似乎并没有解决你所关心的真正存亡威胁。因此,我很想了解在这样的背景下,Anthropic 为何反对暂停州级 AI 立法的联邦暂缓令。
Dario Amodei:是的。这里同时存在许多不同的情况。我觉得那项具体的法律很愚蠢。它显然是由那些可能根本不懂 AI 模型能做什么、不能做什么的立法者制定的。他们觉得‘AI 模型提供情感支持听起来太吓人了,我不希望发生这种事’。所以我们并不支持那种法案。但当时表决的并不是这件事,表决的内容是:要在 10 年内禁止所有州对 AI 进行监管,同时又没有任何明确的联邦 AI 监管计划——而这需要国会通过,门槛极高。所以,禁止各州在 10 年内做任何事,虽然有人声称他们有联邦政府的计划,但桌上根本没有具体的提案,也没有任何实质尝试。考虑到我在《技术的青春期》中列出的严峻危险,比如生物武器与生物恐怖主义、自主性风险,以及我们一直在讨论的时间线,10 年简直是一辈子。
我认为那样做是极其荒谬的。所以如果必须二选一,你强迫我们做选择,那我们宁愿不要那个暂缓令。我认为该立场的利大于弊,但如果只能这样选,它并不是一个完美的立场。我认为我们应该做的是——也是我会支持的做法——联邦政府出面介入,不是简单地对各州说‘你们不能监管’,而是说‘这是我们的具体做法,各州的规定不得偏离此标准’。我认为这种‘联邦优先权’是可以接受的,即联邦政府设定一个统一标准适用于所有人,各州不得另搞一套。如果能以这种方式落实,我是会支持的。但是,那种‘各州什么都不能做,联邦也什么都不做’的想法,在我们看来是非常荒谬的,而且经不起时间的检验。从目前引发的强烈反弹来看,它已经开始显得过时了。
至于我们希望看到什么,我们探讨过的是从透明度标准开始,以便监测某些自主性风险和生物恐怖主义风险。随着风险变得更加严峻,随着我们获得更多证据,我认为我们可以通过一些有针对性的方式采取更积极的措施,比如说:‘AI 生物恐怖主义确实是个威胁,让我们通过一项法律,强制要求人们配备分类器。’我甚至能想象——这取决于风险最终有多严重,我们现在尚不确定——我们需要以求真务实的态度对待这件事,提前说明风险尚未出现。但随着事物发展的节奏,我完全可以想象今年晚些时候我们可能会说:‘AI 生物恐怖主义问题非常严重,我们必须采取行动,将其纳入联邦标准;如果联邦政府不出面,我们就将其纳入州级标准。’我完全能预见到这种情况。
Dwarkesh Patel:我担心的是这样一种状况:如果考虑到你所预期的进步速度以及立法的周期,正如你所说,由于扩散滞后,AI 带来的益处释放得相对较慢,以至于按照目前的轨道,各州法律的这种碎片化拼盘真的会封杀……我是说,如果连拥有一个情感聊天机器人朋友都会让人们感到恐慌,那想象一下我们希望普通人从健康、健康寿命延长、心理健康改善等方面获得的实际 AI 益处会遭到怎样的限制。而与此同时,你似乎认为危险已经迫在眉睫了。与 AI 的危险相比,这种做法似乎对 AI 益处的损害尤为严重。所以,在权衡利弊上,这正是我觉得不太合理的地方。
Dario Amodei:这里有几个方面。人们常说有成千上万条州级法律,但首先,其中绝大多数根本无法通过。其次,理论与现实是有差距的,法律通过了并不意味着它能被真正严格执行。执法人员可能会想:‘天哪,这太愚蠢了,这意味着要把田纳西州开发过的一切东西都关掉。’因此,法律在解释和执行时往往会以一种不那么危险或有害的方式去处理。当然,如果你通过法律是为了阻止一件坏事,你也会面临同样的执行问题。我基本的观点是,如果我们能决定通过什么法律、如何做事(当然我们只是其中的一小部分影响因素),我会取消许多针对 AI 健康效益的监管限制。我认为这能极大加快我们的药物发现速度。现在的研发管线将会被严重堵塞,管线根本没准备好处理流经它的所有成果。
因此,我认为监管流程应当更加偏向于支持那些安全性与有效性极其清晰明确的事物。那将是一件非常美好的事——极其清晰、极其有效。也许我们不需要围绕它建立整套庞大的监管上层建筑,毕竟那套体系是为一个药物疗效甚微且常有严重副作用的时代设计的。但与此同时,我认为我们应当大幅加强安全与防范方面的立法。正如我所说,从透明度标准开始是我的主张,旨在尽量不阻碍行业发展,找到恰当的平衡点。我也对此感到忧虑。有人批评我的文章,说‘这太慢了,如果我们这么做,AI 的危险很快就会降临’。但我基本认为,过去 6 个月以及未来几个月将侧重于透明度;如果这些风险随着我们对其确定性的增加而浮现(我认为最快可能在今年晚些时候),那么我们就必须在实际看到风险的领域极其迅速地采取行动。
我认为唯一的应对之道就是保持敏捷。虽然立法流程通常并不敏捷,但我们必须向所有相关人员强调这件事的紧迫性。这就是我传递这种紧迫信息的原因,也是我撰写《技术的青春期》的原因。我希望政策制定者、经济学家、国家安全专业人士去阅读它,希望决策者能读到它,从而有望比平时更快地采取行动。
Dwarkesh Patel:是否有你可以做或倡导的事情,能够更有把握地确保 AI 的好处得到更好的落实?我觉得你一直在与立法机关合作,试图达成‘好,我们要在此预防生物恐怖主义、提高透明度、加强举报人保护’等共识。但我总觉得在默认情况下,我们所期待的那些实际益处非常脆弱,很容易受到各种道德恐慌或政治经济学问题的冲击。
Dario Amodei:是的,其实在发达国家内部,我并没有那么认同这一点。我觉得在发达国家,市场运作得相当有效。当某件事蕴含着巨大的商业利益,而且它显然是目前最好的选择时,监管体系其实很难阻止它。我们在 AI 本身上就能看到这一点。比如,我一直试图争取的是对华芯片出口管制,这符合美国的国家安全利益,也完全符合国会两党几乎所有人的政策信念。我认为理由非常充分,而反对它的论据,我礼貌地称之为可疑。然而,管制并没有完全落实,我们依然在出售芯片,因为这背后牵涉到太多的资金利益。资本想要获利,而在这种情况下,在我看来这是一件坏事。但这种规律在面对好事时同样适用。因此,如果我们在谈论药物和这项技术的其他益处,我并不那么担心这些益处在发达国家受到阻碍。我只是有点担心它们的进展太慢。
正如我所说,我认为我们应当努力加快 FDA 的审批流程,也应当反对你所描述的那些聊天机器人法案。单独来看,我是反对它们的,认为它们很蠢。但我认为更大的隐忧在于发展中国家。在那些地方,我们没有运作良好的市场,往往无法基于现有技术进行构建。我更担心那些人群会被甩在后面。我也担心即使研发出了治疗方法,比如密西西比州农村的某些人可能也无法获得。这可以说是我们在发展中国家所担心的事的一个较小缩影。所以我们一直在做的是与慈善家合作,与那些向发展中国家(如撒哈拉以南非洲、印度、拉丁美洲等其他发展中地区)输送药物和健康干预措施的人士合作。我认为这种事情是无法自发实现的。
Dwarkesh Patel:嗯。你提到了出口管制。是的,为什么中美两国不能都在数据中心里拥有一个‘数据中心里的天才国家’呢?
为什么不能……你是说为什么不会发生,还是为什么不应该发生?
中美是否都能拥有“数据中心里的天才国家”
Dario Amodei:我是说,为什么不应该发生?如果这真的发生了,我们可能会陷入几种状况。如果是‘进攻主导型’的情况,我们可能会遇到类似于核武器但比核武器更危险的局面——任何一方都能轻易毁灭一切。我们也可能面临一个不稳定的世界。核平衡之所以稳定是因为存在威慑,但假设如果两套 AI 发生对抗,哪方能赢存在不确定性,这就会引发不稳定。当双方对自己的胜算评估不一致时,往往就会爆发冲突。如果一方认为‘我有 90% 的把握赢’,另一方也认为‘我有 90% 的把握赢’,那么开战的可能性就会大得多。他们不可能都对,但他们都会这么想。
Dwarkesh Patel:但这是一个针对 AI 技术扩散的普遍性论点,这也是该世界观必然得出的推论。
Dario Amodei:即某些政府会用 AI 压迫本国人民。因此,我担心出现这样一个世界:某个国家已经是一个高科技威权国家。需要澄清的是,这是针对政府而言,而不是针对人民。我们必须找到一种让各方民众都能获益的方式,我所担心的只是政府。所以,我的忧虑在于世界会被割裂为两半,其中一部分可能会陷入极难撼动的威权主义或集权主义状态。政府最终是否会获得强大的 AI 从而带来威权主义的风险?是的。政府最终是否会获得强大的 AI 从而带来糟糕博弈平衡的风险?是的,我认为这两点都存在。但初始条件至关重要。在某个节点上,我们需要制定行为准则。我并不是说由单一国家,不管是美国还是一个民主国家联盟(我认为民主联盟是更好的架构,尽管这需要比我们目前所愿意提供的更多的国际合作)直接宣布‘这就是规则’。
届时必然会有某种谈判,世界必须共同面对这一现实。而我希望看到的是,世界上的民主国家——那些政府代表着更亲近人类价值理念的国家——届时能够握有更强的主导权,在制定行为准则时拥有更多筹码。因此,我非常关心这个初始条件。
Dwarkesh Patel:我重听了 3 年前的一期访谈,发现当时有些提问经不起时间的检验:我总是假设在两三年后会有一个关键的枢纽时刻。但事实上,随着时间推移,现实似乎只是技术持续进步、AI 不断改善、扩散更加广泛,人们将其用于更多事物。你似乎在构想未来这样一个场景:各国聚集在一起,协商出行为准则,盘点各自拥有的筹码。但按照目前的轨迹,每个人都会拥有更多的 AI,其中一些会被威权国家使用,而威权国家内部也有私营实体与政府实体的区别,目前尚不清楚谁获益更多,这在事先总是难以预测的。就像互联网给威权国家带来的优势超出了人们原本的预期,而 AI 也许会恰恰相反。所以我想更好地理解你在这里设想的图景。
Dario Amodei:是的。准确地说,我认为底层技术的指数级增长将像以前一样持续下去。模型会越来越聪明,即使达到了‘数据中心里的天才国家’的水平,我认为依然可以继续让模型变得更聪明。问题在于它在现实世界中的价值可能会面临收益递减:比如在攻克人类生物学之后,模型再聪明还有多大意义?或者在某个节点上,它可以解决更难、更深奥的数学问题,但除此之外别无他用。不过抛开这一点不谈,我确实认为指数增长会继续,但在这条指数曲线上会有某些特殊的节点,不同的公司、个人和国家会在不同的时间到达这些节点。例如,我在《技术的青春期》中讨论过:核威慑在 AI 世界中是否依然有效?我不知道,但这是一个例子,说明我们过去习以为常的事情可能会因为技术达到某种高度而不再确定。
再想想其他例子,比如到达某个节点后,你可能拥有了主导性的网络攻击能力,在此之后所有计算机系统对你而言都是透明的(除非对方拥有同等水平的防御)。因此,我不知道具体的关键时刻是什么,或者是否存在单一的关键时刻,但我认为会出现一个关键时刻、少数几个关键时刻或一段关键窗口期:在那个时期,AI 能从国家安全角度赋予巨大的优势,而某一个国家或联盟先于其他人达到了这个阶段。我并不是主张他们可以直接说‘好了,现在由我们说了算’,我不是这个意思。对方总是在追赶,也有你绝不愿采取的极端行动,直接全盘接管是不对的。但是在那个节点到来时,人们会意识到世界已经改变了,届时必然会就‘后 AI 时代的国际秩序将是什么样’展开隐性或显性的谈判。
而我的初衷是希望确保古典自由民主制在这一格局中握有强有力的筹码。
Dwarkesh Patel:我不太理解你所说的‘强有力的筹码’具体意味着什么,因为你在文章中写道:‘在强 AI 时代的后期,专制体制根本不是人们所能接受的政府形式。’这听起来就像是在说,在我们实现 AGI 之后,中国共产党这样一个制度实体就无法继续存在了。这似乎是一个非常强硬的要求,而且似乎暗示着未来的世界里,领先的实验室或领先的国家将能够——并且按照这种说法,应该能够——决定世界如何被治理,以及允许或不允许哪些类型的政府存在。
Dario Amodei:那一段我表达的意思大概是:‘你甚至可以更进一步说成 X’。所以我并不一定赞同那个观点。我当时说的是一个更温和的看法,即我们必须高度警惕威权主义者,并试图遏制和限制他们的权力。你也可以采取一种更有干涉色彩的激进观点,认为掌握 AI 的威权国家会导致某种自我强化的恶性循环,极其难以撼动,因此必须从一开始就清除它们。但这完全会带来你提到的所有问题:如果你承诺推翻每一个威权国家,那么他们现在就会采取一系列行动,从而……
Dwarkesh Patel:对。
Dario Amodei:导致局势不稳定。所以那可能行不通。但我真正认同的观点是:今天西方世界的普遍看法是民主是比威权更好的政府形式,但如果一个国家是威权体制,我们并不会像它犯下种族灭绝罪行那样去做出强烈反应。我想说的是,我有点担心在 AGI 时代,威权主义将具有不同的含义,它将成为一个更为严重的问题,我们必须以某种方式决定如何应对。干涉主义观点只是其中一种可能的思路,我当时是在探讨这些可能性。它最终可能是正确的,也可能因为过于极端而是错误的。但我确实抱有希望。我的希望之一在于:历史表明随着新技术的发明,某些政府形式会走向淘汰。我在《技术的青春期》中提到过这一点,比如封建主义过去曾是一种政体形式,但随着技术的革新,封建主义便不再可持续、不再合理。
Dwarkesh Patel:为什么这是一种希望?为什么这不能意味着民主制度在未来不再具有竞争力?
Dario Amodei:确实有可能,两种走向都有可能。但随着威权主义带来的问题不断加深,我好奇这是否预示着威权主义将暴露出更多根本弊端。换句话说,正因为威权主义的危害变得更加严重,人们会对其更加警惕并更努力去阻止它。你需要从整体动态平衡的角度来看待这一点。我在想,这是否会促使人们产生新的思考方式,探讨如何利用新技术去维护和保障自由;甚至更乐观地说,它是否会引发一场集体反思,让人们更加深刻地意识到我们所认定的个人权利有多么重要,更加明确地意识到我们绝不能放弃这些权利,因为事实证明没有其他生活方式真正行得通。我确实抱有希望,尽管听起来可能过于理想化,但我真诚地认为:独裁体制可能会在道德层面彻底淘汰,成为在道德上无法存续的政府形式,而由此引发的危机将足以迫使我们找到另一条出路。
Dwarkesh Patel:我认为这里确实存在一个极难回答的问题,我不确定该如何解决。回看历史,我们必须在某种立场上做出选择。比如在 20 世纪 70 和 80 年代面对中国时,我们决定‘尽管这是一个威权体制,我们依然选择与其接触’。回过头来看,我认为那是正确的决定,因为尽管它是一个威权国家,但十多亿人口的生活水平和福祉得到了极大提升,远优于其他可能。而且,即便不进行接触,也并不意味着它就会自动停止成为一个威权国家——看看朝鲜这个例子就知道了。维持威权统治并不断巩固权力并不需要多么顶尖的智力。完全可以想象,一个拥有远逊于其他国家但足以维持统治的 AI 的朝鲜。
所以总的来说,我们是否应当采取这样一种态度:AI 带来的好处(包括对人类的赋能、健康改善等)将是非常巨大的,而从历史上看,我们一直认为将技术红利广泛传播是件好事,即使是对那些身处威权政府统治下的人民也是如此。在 AI 时代如何看待这一问题固然艰难,但从历史上看,我们始终认为这是一个正和世界,广泛扩散技术依然是值得的。
Dario Amodei:是的,我们有许多选择。将这视为政府间决策或纯粹从国家安全视角看待,只是其中一种视角,此外还有很多其他视角。例如可以设想这样一个世界:我们研发出了各种疾病的治疗方法,这些医疗成果完全可以出售给威权国家,只是数据中心和芯片不行;AI 产业本身也可以有所区分。另一种可能性——我认为大家应该思考这一点——就是:我们能否通过 AI 本身或在其基础上构建的技术,创造出某种平衡,使得威权国家无法剥夺其民众对技术红利的私人使用权?是否存在某种博弈平衡,让我们能够为威权国家的每个人提供他们专属的 AI 模型,用以防御监视,而威权政府在维持统治的同时却无法对其进行镇压?我不知道。在我看来,如果这发展得足够深入,可能会成为威权国家从内部瓦解的原因。
或者存在某种折中局面:威权统治者如果想维持权力,就无法阻碍民众获得个人化的技术访问权。但我确实对那个更激进的版本抱有希望,即技术本身是否可能固有某些特性,或者通过特定构建方式赋予其某些特性,从而对威权结构产生这种瓦解效应?我们最初曾有过这种希望——回顾奥巴马政府初期,我们原本以为社交媒体和互联网会具备这种特性,事实证明并非如此。但如果汲取过去的教训,考虑到这是一种全新的技术,我们再次尝试呢?我不确定是否一定成功,但值得一试。
Dwarkesh Patel:是的,我认为这非常不可预测。从第一性原理来看,威权者同样有动力去发展 AI。
Dario Amodei:非常不可预测。我的意思是,我们必须认识到这个问题,然后想出 10 种可以尝试的方案,接着去尝试这些方案,随后评估它们是否有效、哪些有效(如果有的话),如果旧方案行不通,再尝试新方案。
Dwarkesh Patel:我今天想表达的是,正如你所说,我们不会向中国出售数据中心,或者抱歉,芯片以及制造芯片的能力。因此在某种意义上,你否定了这样做会给……
……中国经济、中国人民等带来的好处。而且这对美国经济也会有好处,因为这是一个正和世界。我们可以进行贸易。他们国家的数据中心可以做一件事,我们的可以做另一件事。而你现在是在说,为了不赋予这个国家能力,牺牲这种正和红利是值得的……
Dario Amodei:我想说的是,我们即将进入一个增长和经济价值极易获得的世界。如果我们能够构建这些强大的 AI 模型,增长和经济价值就会非常轻松地涌现。不那么容易实现的是利益分配、财富分配、政治自由等等,这些才是难以达成的目标。因此,当我思考政策时,我认为技术和市场几乎会以快于我们吸收的速度提供所有基本好处。而关于分配、政治自由和权利的问题,才是真正关键、也是政策应该关注的重点。
Dwarkesh Patel:好,既然你提到了分配,我们谈谈发展中国家。在许多情况下,追赶型增长一直弱于我们的预期。但当追赶型增长确实发生时,从根本上说是因为他们拥有未被充分利用的劳动力。我们可以将发达国家的资本和技术诀窍带到这些国家,然后他们就能实现相当快速的增长。
是的。显而易见,在一个劳动力不再是制约因素的世界里,这种机制就不再起作用了。那么,希望是否基本上在于依赖那些因 AI 立刻致富的人或因创造 AI 而致富的国家的慈善事业?希望究竟在哪里?
Dario Amodei:我的意思是,慈善事业显然应该发挥某种作用,正如它在过去所做的那样。但我认为,如果我们能使增长内生化,增长总是更好、更有力的。那么,在一个由 AI 驱动的世界里,有哪些相关的行业呢?其实有很多事情可以做。比如我之前说过我们不应该在中国建设数据中心,但没有任何理由说明我们不应该在非洲建设数据中心,对吧?事实上,我认为在非洲建设数据中心会很棒。只要它们不属于中国所有,我们就应该在非洲建设数据中心。我认为这是一件非常好的事情。此外,我们没有任何理由不能建立由 AI 驱动的制药产业。如果 AI 在加速药物研发,那么就会涌现出一批生物科技初创公司。我们要确保其中一些发生在发展中国家,至少在过渡时期是如此。
我们可以讨论人类不再发挥作用的节点,但在过渡期,人类在创立这些公司和监管 AI 模型方面仍将发挥某种作用。因此,让我们确保这些人类中有一部分是发展中国家的人,这样快速增长也能在这些地方发生。
Dwarkesh Patel:嗯。你们最近宣布 Claude 将拥有一份宪章,使其与一套价值观保持一致,而不仅仅是对终极用户顺从。我可以想象这样一种情景:如果它对终极用户顺从,就能维持我们当今世界的权力平衡,因为每个人都能拥有代表自己利益的 AI,这样坏人与好人的比例就保持恒定,这似乎适用于我们今天的世界。那么,为什么不这样做,而是要让 AI 承载一套特定的价值观呢?
Dario Amodei:呃,是的,我不确定我是否会完全那样划分界限。这里可能有两个相关的区别,我认为你谈到的是两者的混合。一个是:我们是应该给模型一组明确说明“做这个”与“不要做那个”的指令,还是应该给模型一套关于“如何行动”的原则?我们观察到,这纯粹是一个实用和经验性的问题——通过教授模型原则、让它从原则中学习,它的行为会更加一致,更容易覆盖边缘情况,而且模型更有可能去做人们希望它做的事。换句话说,如果你只是给它列一张规则清单,比如“不要教人如何偷车”、“不要说韩语”等等,它并不能真正理解规则,也很难从中进行泛化。
但如果你给它原则,并设立一些硬性防线(比如“不要制造生物武器”),但总体上让它去理解自己应该以什么为目标、应该如何运行,从实践角度来看,事实证明这是一种更有效的模型训练方式。这是其中一点,即规则与原则之间的权衡。然后你提到的另一件事,有点像可矫正性与内在动机之间的权衡,也就是说,模型应该在多大程度上像一个“外壳”或工具——直接听从任何向它下达指令的人,还是应该在多大程度上拥有一套内在的价值观并自行去行事。在这一点上,我实际上会说,我们模型的所有设定其实更偏向于“它主要应该做人们想让它做的事”这个方向。我们并不是要构建一个能自动去统治世界的东西,我们在可矫正性这一侧走得相当远。
不过我们确实规定了有些事情是模型不会做的,我们在宪章中以各种方式表达了这一点:在正常情况下,如果有人要求模型执行某项任务,它就应该执行,这应该是默认状态。但如果你要求它做危险的事,或者伤害别人的事,模型就会拒绝去做。所以在我看来,它主要是一个受控可矫正的模型,带有某些限制,但这些限制是基于原则的。
Dwarkesh Patel:是的,我的意思是,根本问题在于这些原则是如何确定的?这不仅是针对 Anthropic 的问题,也是任何 AI 公司都要面对的问题。但因为你们是真正写下这些原则的人,所以我可以问你这个问题。通常宪法被写下来后就固定不变了,有专门的更新和修改程序等等。而在这种情况下,它似乎是一份由 Anthropic 内部人员编写、随时可以修改的文件,却指导着未来将成为许多经济活动基础的系统行为。你认为应该如何确定这些原则?
Dario Amodei:是的。我认为这里有两到三种不同层级的反馈循环,即三种迭代方式。第一种是在 Anthropic 内部迭代:我们训练模型,如果不满意,就修改宪章。我认为这样做很好。定期向公众发布更新后的宪章,让大家评论,这也很好。第二种层级的循环是不同的公司拥有不同的宪章。比如 Anthropic 发布一份宪章,Gemini 模型发布一份宪章,其他公司也发布各自的宪章,然后大家可以对比参考,外部观察者可以进行批评,指出这份宪章里的优点和那份宪章里的长处,这能形成一种软性的激励和反馈机制,促使所有公司吸收各方所长并加以改进。第三种循环是 AI 公司之外的社会公众——不仅仅是那些没有实权但对宪章发表评论的人。
在这方面我们做过一些实验,比如几年前我们与一个叫“集体智慧项目”(Collective Intelligence Project)的组织合作,通过民意调查询问人们我们的 AI 宪章里应该包含什么。当时我们采纳了其中一些修改意见。你可以想象在我们采用新的宪章制定方法后也开展类似的尝试。这会稍微困难一些,因为当宪章只是一堆“做与不做”的规则列表时更容易操作,而在原则层面,它必须保持相当的一致性。但你依然可以想象听取各界人士的意见。甚至——这是一个疯狂的想法,不过整场访谈不 me 就是在讨论各种疯狂的想法吗?——你甚至可以想象让代议制政府系统参与进来并提供意见。
我现在不会这么做,因为立法过程太慢了,这正是为什么我认为我们在 AI 管控的立法上应该保持谨慎的原因。但在原则上,你完全可以说:“所有 AI 模型的宪章都必须以这些内容开头,之后你可以附加其他内容,但必须有这个具有优先效力的特殊章节。”我现在不会采取这种做法,这太僵化了,显得过于武断,就像过于激进的立法一样。但这确实是你可以尝试的一种方向。是否存在某种没那么严厉的版本?也许有。
Dwarkesh Patel:我非常喜欢第二种控制循环。显然,现实中政府的宪法并非这样运作、也不该这样运作——最高法院不会含糊地去感觉大众的情绪和氛围,然后相应地更新宪法。现实政府有着更正规的程序。
Dario Amodei:对,没错。
Dwarkesh Patel:但你实际上勾勒出了一种不同宪章相互竞争的愿景,这非常让人联想到一些自由意志主义者曾经讨论过的特许城市方案——展示各种不同政府形式构成的“群岛”会是什么样子,然后从中筛选出谁在哪个地方运作最有效率、能让人们生活得最幸福。在某种意义上,是的,存在这样一种愿景……
Dario Amodei:我其实有点是在重塑那种模式。
是的,是的。就像这种群岛式的乌托邦,你知道的。
话又说回来,我认为那个构想有其值得推崇之处,但也会有一些可能出问题的地方。我觉得这是一个有趣且在某种程度上引人入胜的构想,但也会发生一些你未曾预料到的问题。所以,我也挺喜欢循环二(loop two)。但我感觉整个体系必须是循环一、二、三的某种混合体,关键在于比例如何配比,对吧?我认为这才是真正的答案。
Dwarkesh Patel:嗯,当未来有人为这个时代撰写类似于《原子弹诞生记》(Making of the Atomic Bomb)那样的著作时,历史记录中最难收集、他们最有可能忽略的事情会是什么?
Dario Amodei:我觉得有几点。第一点是在这条指数级曲线发展的每一个时刻,外界对其不理解的程度有多深。这是历史中经常出现的一种偏见,即任何已经发生的事在回顾时都显得是必然的。因此,当人们回顾这段历史时,他们很难切身处地体会那些当时在这个并非必然发生的事上押注的人的心境——当时我们存在着各种争论,比如我提出的关于扩展定律或者持续学习将被解决的论点。在我们的内部意识中,我们有些人赋予了这件事情极高的发生概率,但外界的世界却完全没有据此采取行动。此外,这种状况的怪异之处,以及不幸的闭塞感——比如,即便距离它发生只有一两年时间,街上的普通人也完全一无所知。这也是我试图改变的事情之一,比如通过撰写备忘录、与政策制定者沟通等,但我也不知道,这真的太疯狂了。
最后我想说,这一点大概适用于历史上几乎所有的危机时刻:那就是事情发生得究竟有多快,一切是如何同时爆发的。因此,你可能以为某些决策是经过精心计算的,但实际上你做完那个决策后,同一天内还得做出另外30个决策,因为一切都发生得太快了。你甚至不知道哪些决策最终会产生深远影响。所以,我的一种担心——尽管这也算是对正在发生的事情的一种洞察——就是某个极其关键的决策,可能只是某人走进我的办公室说:“Dario,你只有2分钟时间,关于这个事我们该选方案A还是方案B?”某人递给我一份随机的半页纸备忘录问:“我们选A还是B?”然后我说:“我不知道,我还得吃午饭呢,就选B吧。”结果,那最终成了史上影响最深远的事情。
Dwarkesh Patel:最后一个问题。科技公司的 CEO 通常不会每隔几个月就写一份 50 页的备忘录。而你似乎成功地为自己以及围绕你的公司构建了一个角色,这与这种更偏知识分子型的 CEO 角色非常契合。我想了解你是如何构建这种模式的?这种工作方式究竟是如何运行的?比如你直接闭关几周,然后出来告诉公司“这就是备忘录,这就是我们要做的”?据报道你在公司内部也写了很多这样的文章。
Dario Amodei:是的,关于这篇特定的文章,我是利用寒假时间写的。当时确实有一些时间,之前我一直抽不出时间来写。但我其实是从更宏观的角度来看待这件事的,我认为这与公司的文化密切相关。我大概会花三分之一甚至 40% 的时间来确保 Anthropic 的公司文化良好。随着 Anthropic 规模变大,直接参与模型训练、模型发布或产品构建变得越来越难。公司现在有 2500 人,虽然我有一些直觉,但你很难亲自介入到每一个细节当中。我尽量多去参与,但最具杠杆效应的事情是确保 Anthropic 是个良好的工作场所,大家喜欢在这里工作,每个人都把自己视作团队的一员,大家携手合作而不是相互倾轧。我们已经看到其他一些 AI 公司在扩张过程中——不具体点名——开始出现内耗和内斗。
其实我可以说很多公司从一开始就有这种情况,后来变得愈发严重。但我认为我们做得极其出色(即便称不上完美),把公司凝聚在一起,让每个人都能感受到使命感,相信我们对使命是真诚的,相信其他所有人都是出于正确的理由在工作,我们是一个团队,大家不会为了个人利益去牺牲他人或背后捅刀子——而这在其他一些地方经常发生。你是如何做到这一点的?包含很多方面,有我,也有负责公司日常运营的 Daniela Amodei,还有联合创始人、我们招募的其他员工以及我们试图打造的环境。但我认为文化中很重要的一点是,公司领导层(尤其是对我而言)必须清晰阐明公司的宗旨是什么、为什么做这些事、策略是什么、价值观是什么、使命是什么以及代表了什么。
当公司达到 2500 人时,你无法逐个去沟通,你必须撰写文章或者面向全公司讲话。这就是为什么我每两周都会站在全公司面前演讲一个小时。其实我在内部并不算常写文章,我主要做两件事:第一,我会写一份叫作 DVQ(Dario Vision Quest,Dario 愿景探索)的东西。这个名字不是我起的,是大家给起的名字,我当时还抗拒过这个名字,因为这听起来好像我要跑去抽佩奥特毒蕈寻幻觉似的,但这个名字就这么沿用下来了。所以每两周我会站在全公司面前,拿着三四页的文件,讲解三四个关于内部进展的不同话题,比如我们正在研发的模型、产品、外部行业、与 AI 相关的整个世界以及地缘政治动态等等。
我会非常坦诚地梳理,直接告诉大家:“这就是我和 Anthropic 领导层的真实想法。”然后我解答大家的问题。我认为这种直接的沟通连接具有巨大的价值,这是层层传达六级之后很难达到的效果。很大一部分员工都会亲自或线上参加。这真的意味着你可以进行大量沟通。第二件事是,我在 Slack 上有一个频道,我会写很多东西并经常回复评论。通常这是为了回应我在公司看到的事、大家提出的问题,或者我们在内部调查中发现大家关心的问题,我会针对性地写出来。我对此非常坦诚,表达得非常直接。核心在于树立一个向公司吐露真相的声誉——实事求是,承认问题,避免在公共场合往往需要用到的企业腔调或防御性沟通(因为外界很大,充斥着恶意解读的人)。
但是,如果你拥有一家由你信任的人组成的公司——我们也努力招聘我们信任的人——那么你就可以真正做到完全毫无保留。我认为这是公司巨大的优势。这让公司成为更好的工作场所,使大家实现“整体大于部分之和”,也增加了我们完成使命的概率,因为大家对使命保持一致,并且都在讨论和争论如何最好地实现这一使命。
Dwarkesh Patel:好吧,既然没有对外的 Dario 愿景探索备忘录,我们就有了这次访谈。这次访谈有点像那个。这里是《Dwarkesh 的探索之心》(Inquiring Minds with Dwarkesh),非常感谢你来参加。
Dario Amodei:好的,谢谢你,Dwarkesh。