中文整理分析 中文访谈原文

default.mp3_ywr3ahjkcgo_3b8165479a05ea7573b34a34797798a4_65832433

01:08:34 · 原视频

阿里·戈德西:作为商业领袖,这里存在着公地悲剧。

如果你想停下来,如果你想放慢速度,你自己为什么不慢下来?

比如,我正在参与竞争,我想赢。

基本上存在两个阵营。

一个阵营认为这实际上是一个工程问题。

还有其他人则认为必须放慢节奏。

人类对正在发生的网络攻击反应不够快。

你需要将所有这些都自动化。

而大多数组织实际上并未在这样做。

发言人:各大实验室正在进行的 RSI 与递归自我改进是否正把我们引向那个方向?

这是个重大问题。

埃隆说过类似的话,这是某种精心策划的 4D 棋局。

因为一方面你说全人类都将走向毁灭。

另一方面你又在说:嘿,你想要多少 IPO 配额?

上周有史以来第一次,一家具规模的大型公司表示他们正在从前沿模型转向 GLM。

你认为这是一种趋势,还是只是个个例趣闻?

阿里·戈德西:对企业而言,AI 可能已经足够聪明了。

问题在于它不懂你的公司。

Databricks 首席执行官阿里·戈德西(Ali Ghodsi)与 a16z 的马丁·卡萨多(Martin Casado)及萨拉·王(Sarah Wang)共同探讨究竟是什么在真正阻碍 AI 的落地应用,以及为什么答案可能与构建更智能的模型关系不大,而更多在于为它们提供恰当的上下文。

他们还就控制前沿 AI 发展节奏(pacing frontier AI)、递归自我改进以及当今现实风险究竟存在于何处展开了辩论。

阿里认为,超级智能距离我们目前的现状仍然很遥远,而网络安全则是一个迫在眉睫的现实问题,因为智能体(Agent)使攻击速度更快,让人类安全团队越来越难以跟上步伐。

他们还深入探讨了 Databricks 在内部使用 AI 的经验教训,涵盖从构建组织本体(organizational ontology)到管理 Token 成本,以及为不同任务挑选不同模型。

马丁·卡萨多:阿里,感谢你的到来。

阿里·戈德西:非常高兴能来这里。

马丁·卡萨多:我们显然想聊聊 Databricks,但眼下关于 AI 正在进行一场更广泛的讨论。

达里奥(Dario Amodei)发表了看法,雅各布(Jakub Pachocki)发表了看法,埃隆(Elon Musk)也发表了看法。

但我们想听听阿里·戈德西的想法。

比如,如果把这个话题宽泛地称为“控制前沿节奏”(pacing the frontier)等等,在目前流传的各种观点中,你最认同的是什么?

你在哪些方面持不同意见?

又有哪些细微之处是尚未被捕捉到的?

阿里·戈德西:好啊,我很乐意聊聊这个。

我和马丁经常争论,所以我相信用不了多久争论就会开始。

马丁·卡萨多:这次我们会尽量克制一下。

阿里·戈德西:尽量保持冷静。

不过,嗯,我首先确实认为,也许我们在这一点上有共识,那就是领袖们有责任不去无端地制造恐慌吓唬大众,除非有非常非常充分的理由。

而且我认为,你知道,社会上总有不同的人处于不同的心智状态。

所以,谈论这类生存威胁(existential risks),以及全人类都将被毁灭的场景,我认为是不负责任的。

比如,这可能会让很多人心理崩溃,并引发大量的心理健康问题。

马丁·卡萨多:除非你手里真有什么东西能把全人类毁灭。

阿里·戈德西:对,正如我所说的。

如果真有切实的原因,那另当别论。

但我认为目前生存威胁接近于零。

那为什么要把大家都吓坏呢?

这其实完全没必要。

风险确实存在。

我们稍后会深入探讨。

那可能正是我们有分歧的地方。

但首要的一点是,我认为领袖们不应该引起大众恐慌。

我的意思是,如果在我们进行 AI 研究的方式等方面存在技术细节上的分歧,研究人员大可以在内部讨论。

没必要每次都上电视,或者在 Twitter 上向数以百万计的人大肆宣扬:“嘿,我认为有比如 10% 的概率全人类都会被毁灭。”

我认为这对许多人并没有任何帮助。

实际上,我认为这给很多人造成了伤害,他们会感到压力巨大,而他们其实并不了解这其中的所有细微差异以及其真正含义。

所以我认为我们不应该这么做。

我觉得这毫无建设性。

这对任何人都没有好处。

马丁·卡萨多:我认为对于普通大众来说,这确实非常、非常真实。

阿里·戈德西:是的。

马丁·卡萨多:比如我姐姐,她人非常好,在亚利桑那州乡村当学校老师,周日她给我发短信说:“马丁,我该不该为……”她本来就有点末日准备者的倾向,“……我该不该为 AI 末日准备木屋?

你看,水我都备好了。

你什么时候过来避难?”

我就说:“等等。

阿里·戈德西:是啊。

马丁·卡萨多:我们根本还没到那个地步。”

所以这显然已经蔓延到了普通民众中,我赞同这是不必要的,而且会带来反噬效应。

我认为还有第二点,那就是,不知道你注意到了没有,我刚才走进来时刷了下 X,伊丽莎白·沃伦(Elizabeth Warren)刚发话说要暂停所有的 AI 研发。

当然,这是紧随伯尼(Bernie Sanders)之后的呼吁,而伯尼还在和班农联手,就是史蒂夫·班农(Steve Bannon)。

所以现在,除了吓唬民众之外,联邦政治机器也开始全面运转起来了。

我认为这实际上可能与那些信息最初传达的真实目标完全背道而驰。

因此,我认为这里面临的风险远不止大众歇斯底里这么简单。

阿里·戈德西:是的,背后有大量的政治博弈,但我身处所有这些圈子中,我看到了双方的情况。

我们必须承认,双方都有着激烈的政治博弈。

对吧?

马丁·卡萨多:噢,是的,确实。

阿里·戈德西:双方都在进行博弈。

马丁·卡萨多:不,我的意思是,我认为哪怕不算特朗普本人,两党在某种程度上都认同应该对 AI 施加一定限制。

阿里·戈德西:我说的也包括这场争论的另一方。

让我给你举个例子。

马丁·卡萨多:连格雷格·阿博特(Greg Abbott)也是,对吧?

阿里·戈德西:是的。

马丁·卡萨多:连格雷格·阿博特都说,你们不能在德克萨斯州建数据中心。

阿里·戈德西:嗯,我说的不是政客。

我说的是产业和商业双方都在搞政治操作,对吧?

马丁·卡萨多:对。

阿里·戈德西:商业这端也有政治博弈,那些希望看到亮眼 IPO 的人,他们希望获得投资回报。

他们会说:“别搞砸了我的 IPO。”

马丁·卡萨多:是的。

阿里·戈德西:他们想表达的是:“嘿,大家能不能都闭嘴,好让我们把钱赚回来?”

所以有这一派。

而且他们拥有资源,他们正在动用这些资源。

所以那一端存在着博弈。

他们可没有老老实实坐着什么都不干。

他们可以暗中操纵,他们有人脉关系。

而在另一端,所有人都在想:“好吧,我们怎么把这件事武器化?

太棒了。

这家伙发了这条推文。

比如,我们把这个武器化。

我们把这个料散播出去。

去把这些帖子和推文串炒热。”

马丁·卡萨多:我们来谈谈大家都在利用的那个具体杠杆点吧。

因为我其实觉得这是一个典型的公关失误案例。

而且这不仅限于那些悲观绝望的说辞。

我认为公关失误在于:行业试图自我监管并不罕见。

本来就屡见不鲜,对吧?

强调安全和防范非常重要。

在每一个技术时代都是如此。

我们希望有一定的监管。

这是非常非常合情合理的。

问题仅仅在于提出了“控制节奏”(pacing)这个概念。

而“控制节奏”存在诸多问题。

首先,它与安全防范是正交的。

比如,你放慢速度制造武器,它依然是一件武器。

这跟制造武器没有任何区别。

人们觉得这并不真诚,因为这些公司一直在全速狂奔。

他们还在采购更多算力以跑得更快。

阿里·戈德西:不,不,不。

马丁·卡萨多:我的意思是,他们根本就没放慢过。

历史上从来没有放慢过。

但同时,这也让人感觉是对主张“暂停研发”的人一种近乎软弱的妥协。

听起来就像是:“你们主张暂停(pause)。

那我说控制节奏(pacing),这差不多等于暂停,但又不算暂停。”

所以他们树立了“控制节奏”这么一面旗帜来跟进。

但如果你真去读读看,你读过那份文件吗?

那是一份完全合情合理的文件。

阿里·戈德西:我读过,是的。

马丁·卡萨多:它根本就与控制节奏无关,对吧?

所以我坦白讲……

阿里·戈德西:不,他在里面确实提到了。

听着,我稍微有一点不同意见。

你看,这里存在公地悲剧。

有这么一种说法:“嘿,如果你想停下来,如果你想放慢速度,你自己为什么不慢下来?

你为什么还要写文章呼吁?”

很多人都在这么质疑。

但不,我的意思是,作为一名商业领袖,我很理解这一点。

这里存在公地悲剧。

比如,我正在参与竞争。

我想赢,你知道的,而你在前面狂奔。

马丁·卡萨多:另外还有市场均衡问题,这表明无论如何控制节奏可能都是不切实际的。

阿里·戈德西:是的,所以我只是说,你知道,所以人们会觉得这合情合理:“嘿,如果你们不停下来,这种公地悲剧就会继续下去。

我不会停止竞速,因为关系到 IPO。

关系到市场竞争。

人与人之间也存在某些芥蒂。

所以我不会单方面停下来。

否则我不就成了大冤种了吗。

你为什么不先停下来呢?

所以他们就会说:‘嘿,你们(监管部门)能不能介入来让我们停下来?’

但是,你知道,我认为你也可以提出这样一个论点:如果你看看 Hugging Face 与 OpenAI 发生的事件——顺便说一句,我认为这些公司都很棒。

而且我认为他们可能投入了大量资源。

马丁·卡萨多:确实,我同意。

阿里·戈德西:但从发生的事情来看非常清楚,如果你去读读经过就会发现,他们并没有实时监控输出的每一个 Token,并进行严格管控。

他们只是在跑这些 RL(强化学习)实验,然后在事后才跑来查看发生了什么。

所以他们本来应该控制节奏的。

在那个具体事件中,他们本应该慢得多的,对吧?

马丁·卡萨多:我只是不想在这纠结字眼。

但在公关上,用词确实很重要,对吧?

阿里·戈德西:是的。

马丁·卡萨多:那我们就拿 Hugging Face 事件来说。

阿里·戈德西:嗯。

马丁·卡萨多:当我看到那件事时,你知道我的反应是什么吗?

并不是“噢,OpenAI 应该控制节奏”。

而是“老兄,把你那玩意儿的安全防护做好,好吗?”

就像我们一直以来的做法那样,做好安全管控。

阿里·戈德西:但这就是控制节奏啊。

这就是控制节奏。

马丁·卡萨多:这不是控制节奏。

比如在互联网历史上,我们经历过所有这些事情。

我们何曾说过“让我们控制互联网的发展节奏”?

阿里·戈德西:这就是控制节奏。

马丁·卡萨多:做好安全。

做好管控。

做好诸如此类的措施。

你确实该这么做。

阿里·戈德西:但在某种意义上它就是控制节奏,因为,你看,我一直都要面对这种情况。

我在 Databricks 有法务部门。

我在 Databricks 有安全部门。

而且,你知道,他们总是说:“嘿,把所有事情都慢下来”,所有事,不仅仅是 AI。

毫不夸张地讲,每一件小事都是如此。

比如:“噢,你要去参加播客了。

那么讲稿是什么?

你打算说些什么?

我们来审查一下。

哪些内容是违法的?

这个你不能说。

这个你可以说。

那个可以说。

你知道,你说的每句话都必须在实质上是真实的。”

马丁·卡萨多:那些主张控制节奏的人现在就在这个房间里吗?

阿里·戈德西:所以,你看,你在跑一个 RL 实验。

你在训练下一个模型。

安全团队难道应该坐在那里,运行他们所有的监控并检查所有东西吗?

我的意思是,消耗了数百万 GPU 小时生产 Token。

这些智能体在沙盒里到处乱窜。

如果让安全团队坐在那里检查所有的东西,那速度肯定会被大幅放慢。

马丁·卡萨多:我同意。

阿里·戈德西:现在他们说:“嘿,如果我们这么做,就会拖慢我们自己的速度。

而且我也不确定对方是不是也在这么做。

所以你们能不能介入来让我们慢下来?

哪怕直接告诉我们。

比如给我们设一些护栏。

那我们会非常乐意遵守规则并做好安全措施。

否则这根本说不通,因为我们会被打得落花流水。”

马丁·卡萨多:我只是觉得,当人们真正感到害怕时,这种微妙的二阶词汇是起不到作用的。

你说“我要控制节奏”。

从而这种事情就不会发生。

我真的觉得我们当初就应该直接说:“安全与防护至关重要。

我们要落实这些控制措施。”

这才是关键所在。

而且我认为那种微妙的本意实际上已经丢失了。

如果你看看——

阿里·戈德西:扎克所说的,你赞同吗?

我觉得扎克就做到了。

他当时说:“嘿,我们要控制自己的节奏。

我们要加入安全机制。

我们推迟发布这个的原因就是出于安全。”

马丁·卡萨多:听我说,我认为扎克非常出色的一点在于,他非常专注于安全、防护和自我监管。

而达里奥开口前五个词左右就是“我们需要控制前沿的发展节奏”,对吧?

这直接把你带入了一种截然不同的心智模式——

他本可以说的是:“我们需要保障前沿的安全。”

好吧。

我们需要安全保障。

我的意思是,在某种程度上,我认为他们是在试图同时迎合呼吁暂停的末日论者和政界人士,结果两边都没讨好。

阿里·戈德西:但难道你不觉得各家实验室内部的人实际上已经吓坏了吗?

里面有很多安全人员是真的感到恐慌。

顺便说一句,他们并不全都是有效利他主义那帮人等等。

大家都在说:“嘿,他们感到很震惊”,对吧?

马丁·卡萨多:对。

但问题在于,使用“控制节奏”这个词对哪一方都没有帮助。

我觉得这就好比,你真的在试图寻找……

“控制节奏”就像是一个恐怖谷,同时让末日论者不高兴,也让政策制定者不高兴。

因为末日论者会觉得:“那根本不是暂停。

这只是控制节奏。”

而其他人则会觉得:“好吧,这根本不现实。

反正你们也不会真这么做。

而且你们也没有专注于安全。”

所以,抛开我们到底该怎么做不谈(这一点我们待会儿该聊聊),我只是觉得那种呈现方式很糟糕。

它根本行不通。

这就是为什么我们会看到强烈的舆论反弹。

阿里·戈德西:这些人并不是受过专业训练的公关人员,你知道的。

确实,其中有些内容……

马丁·卡萨多:我同意。

我同意你的看法。

阿里·戈德西:我的意思是,我同意核心前提,即我们不应该让公众恐慌。

我认为眼下的生存风险接近于零,你知道。

但我们来谈谈核心问题,那就是任何进行大规模强化学习训练的人,

当他们给它一个奖励函数时,他们实际上就是在放手让它跑,比如给它 10,000 个智能体和 1 亿美元,

让它们并行在一个庞大的集群上运行一两个月。

尝试解决任何问题。

这不一定非得是安全相关的问题。

它可以是做任何事。

比如解开这道数学谜题。

非常糟糕的事情可能会发生。

所谓非常糟糕的事情,是指系统被攻破。

网络安全是首当其冲的问题。

对吧?

这是真实存在的,对吧?

把它渲染成“嘿,这是一个生存风险”等等,我认为这是个错误。

我认为那样去吓唬公众是不好的。

我觉得它现在已经变成了一个全世界所有人——不仅仅是你姐姐,全球各地的每个人——都在讨论的话题。

我遇到过各种各样以前从来不关心这些事、觉得这极其无聊的人,

给我发消息问:“你对此到底是怎么看的?

这在我的客户中非常重要。

现在我开始为此担忧了。”

于是这就变成了一个政治议题,而我们这里马上就要大选了。

但世界各地都在进行选举。

所以你会看到世界其他地方也不会坐视不管。

但我认为以客观平衡的方式来讨论这个问题并如实揭示风险,是我们的责任。

我认为那本书里所描绘的“超级智能”概念还非常非常遥远。

我没有看到任何证据表明我们正在朝那个方向迈进,或者说那即将发生。

马丁·卡萨多:显然有些人……是的。

阿里·戈德西:显然各家实验室里有些人感到恐慌,觉得可能正在朝那个方向取得进展。

我认为这源于 RSI(递归自我改进),即模型在提升自身。

我很想弄清楚这到底到了什么程度,他们是不是看到了一些我们不知道的东西?

大概有四个标准。

如果这四件事正在发生,我很想了解清楚。

第一,我们的模型,如果我们最终处于以下四种情况同时发生的境地:

下一个模型训练所需的资源更少、GPU 更少。

而且是超线性地减少,而不仅仅是微不足道的一点点。

下一个模型训练所需的时间也更短。

这是第二个条件。

第三,模型的准确率、智能水平在不断提高。

第四,我们可以一次又一次地重复前三点。

你知道,不只是一次两次……

马丁·卡萨多:所有这些必须同时发生,对吧?

阿里·戈德西:全部同时发生,而不是仅仅满足其中某一项。

马丁·卡萨多:是的,全部四项。

阿里·戈德西:如果全部四项都在发生,那你就可以设想出一种……

因为如果其中任何一项没有发生——

比如,如果资源消耗是恒定的,那就没问题,

因为我们迟早会把硬件耗尽。

那它就会自我控制节奏。

比如我们不会有足够的硬件来做这件事,没有足够的 GPU,对吧?

时间也是同理。

所以必须是陷入了这样一种境地。

如果你仅仅是指软件在自动编写自身,

我们今天就已经做到了。

Databricks 九成以上的软件都是 AI 写的。

最后的几个百分点是不是也是 AI 写的,这有关系吗?

不,其实没那么重要。

但如果你满足了这四个条件,

那么你可能会迎来加速:比如下一个模型

只需要一半的时间和一半的资源,

而且它更加聪明,并且你不断重复这个过程,

那么你可能最终会陷入一种我无法预料的境地。

顺便说一句,我甚至不知道这本身是否必然会导向超级智能。

马丁·卡萨多:那依然可能收敛,是的。

阿里·戈德西:但它有可能导向,那样的话风险就会更高。

所以如果他们能把所有这些数据共享出来,

我们能在这方面增加一些光明和透明度,那就太好了。

马丁·卡萨多:我觉得你的这个剖析非常棒。

实际上我认为根本没有人把这作为定义,对吧?

我觉得大家有点在恐慌,

比如“天哪,涌现行为!

现在它在创造自身了等等”。

但我认为,正如我所说的,很多人的定义仅仅是:

“嘿,如果我都不用写代码了,代码自己在写自己”。

阿里·戈德西:没错。

马丁·卡萨多:但我认为他们混淆了“这对我有什么价值、这是否让我害怕”

与“这就意味着我们将迎来

波斯特洛姆在 2014 年理论假设的那个超级智能”。

阿里·戈德西:是的。

马丁·卡萨多:不过你在算力上的观点确实非常好,

我认为在很多关于 RSI 的争论中都被忽略了,对吧?

因为就我们目前所知,

训练一个好模型所需的最低算力门槛

一直在上升。

比如从以前的 1 亿、10 亿,到现在可能大约是 50 亿。

阿里·戈德西:现在训练一个模型要这么多?

马丁·卡萨多:训练一个前沿模型,对吧?

50 亿到 100 亿美元。

阿里·戈德西:对,对,确实。

发言人:是百万还是十亿?

马丁·卡萨多:十亿。

阿里·戈德西:十亿。

马丁·卡萨多:十亿,是的。

对比你的第二个观点。

阿里·戈德西:前沿模型非常昂贵。

马丁·卡萨多:是的,前沿极其昂贵。

六个月后复制前沿模型的成本大约只有二十分之一。

发言人:不,我觉得莎拉说得很有道理,那就是,

这是反对这一整套说法的一个很好的论据,

阿里·戈德西:那就是下一个模型,首先,

每个这样的实验室每年只进行一两次这样的训练。

这与我提到的那四条标准恰恰相反,对吧?

马丁·卡萨多:对,对。

阿里·戈德西:也就是说,它需要耗费更多的资源、更多的人力投入,

而且它更加脆弱,并且他们必须扩建数据中心。

我的意思是,实验室本身不一定会去建,

但其他人必须去建数据中心,而且规模必须非常庞大,

他们必须搞到 GPU,必须把网络调优,

他们必须做好工程以确保具备容错能力,

因为你知道,数量级每提高一次,塞进去的 GPU 就多得多。

你现在必须担心以前根本不用担心的错误。

所以你必须提高其鲁棒性。

所以这就像是一个非常脆弱的过程,一旦失败,你就会挥霍掉巨额资金,

所以他们对那次训练非常非常谨慎,

而且此前已经有多次训练搞砸了。

所以情况与此相反,并不是说“嘿,下一个模型更快、

更便宜、更聪明,且能递归式自我改进”。

事实恰恰相反。

就像是它耗时更长、更脆弱、需要更多的人,

而且更难实现。

所以我确实认为那是真的。

关于 RSI,关于网络安全风险和被黑客攻击的问题,

我们确实需要极其严肃地对待,是的。

马丁·卡萨多:所以我这里还有另一个……比如检验标准。

其实我很喜欢你的那四条标准。

我刚才简直就等着要反驳它,

但我其实觉得它更好。

比如,它确实非常好。

那么让我给你一个黑盒的视角。

比如当你在应对这些动态自适应系统时,

你会相信什么?

你是相信数据,还是相信你那双会骗人的眼睛,对吧?

所以我认为在这些问题上你必须看数据。

那么,要看哪些数据呢?

我真的认为你基本上应该——

也许上市是检验的正确方式。

比如,如果这些公司持续增长,

同时减少人员数量和投入其中的资金量,

那我就会说,这里肯定正在发生些什么。

我确实认为你其实可以把它当作黑盒来看一看,

但目前没有任何迹象表明这点,比如他们还在疯狂招聘。

阿里·戈德西:但这不公平。

马丁·卡萨多:他们在疯狂招聘。

阿里·戈德西:这不公平,因为你知道,公司不一定都是高效率的,对吧?

所以,如果有……我的意思是,

OpenAI 本身就在开展上百万项不同的业务。

做大语言模型的其实是一个大约 10 人的极小团队,

而大语言模型的东西是有用的。

推特以前有很多人,

现在人少多了。

马丁·卡萨多:我只是有另一个……我同意。

只是另一个试金石。

我们相当于有两个试金石。

我们有你的试金石,我认为它很棒,

但你实际上必须有办法对其进行监测度量。

阿里·戈德西:是的。

马丁·卡萨多:然后我们应该有一个黑盒试金石。

比如,我是说,听着,如果 Anthropic 在两周内变成,你知道,

12 个人,而且他们还在持续增长,

并且他们发布模型的速度越来越快,

我想我们大概就应该关注这一点了。

阿里·戈德西:那是充分条件,但不是必要条件,对吧?

我只是说,你知道,可能会是那样,

你知道,真正正确的做法

是去观察,好吧,正在进行的预训练和后训练,

看看哪些是真正必要的,

因为他们拥有如此多的资源,

以至于他们可能在做很多其他

根本不需要做的事情,

但他们只是顺手在做,

而且他们可以随心所欲地招人,

因为他们有无限的资金和无限的资源。

所以,真正训练下一个模型的人,

那个团队是不是极小极小,

而且规模实际上在缩小,

他们做的工作越来越少,

全都由 AI 在做,

然后是后训练,

而且他们使用的 GPU 是不是也越来越少?

事实并非如此。

马丁·卡萨多:作为整个行业,我们以前多次进行过这种争论。

我记得当年,比如,

我们学会了如何真正将计算机集群化,

因为大型机实际上受到

诸如内存一致性之类的限制。

还记得吗?

比如你只能把它做到那么大,

你懂的,然后我们进入了客户端-服务器时代,

然后我们就不存在那个问题了,

接着我们开始制造超级计算机,

它们基本上就是,比如,

你知道的,集群计算机。

到了某个时刻,互联网出现了。

那也大致是在,比如,

GPU 开始变好的时候,

你还记得我们实际上,比如,

对 PlayStation 实施过出口管制吗?

因为我们担心萨达姆·侯赛因

会用它们来进行模拟。

当时的论调非常相似,

也就是,比如,

这些东西正变得无限强大。

我们正在用它们来模拟核武器——

我们确实在用,比如我就做过。

阿里·戈德西:是的。

马丁·卡萨多:比如我们不能……你知道,

这玩意存在生存风险。

其实他们当时没用这些词,

但是像“这有被用于

核武器之类的潜在风险,

我们应该阻止它”。

然而,这些全都没有发生。

所以我认为一个非常合理的讨论

是:这一次会有所不同吗?

是还是不是?

我对此没有答案。

但我是一台 PC。

不过,你知道,你是个……

阿里·戈德西:是的,我是说,听着,我想我当时……

我年纪还不够大,记不得了。

所以无知便是福。

马丁·卡萨多:等等。

阿里·戈德西:所以我可以接受这个……

马丁·卡萨多:得了吧,你不可能不……

阿里·戈德西:我不记得

PlayStation 曾经是非法的,

以及萨达姆·侯赛因曾经……

我只是不知道。

马丁·卡萨多:你多大了?

阿里·戈德西:也许我只是孤陋寡闻。

马丁·卡萨多:这大概是 1999 年的事。

阿里·戈德西:好吧,也许我又老又孤陋寡闻。

马丁·卡萨多:我的意思是,你知道……

也许他们在瑞典根本不在乎。

阿里·戈德西:结论就是这样吗?

马丁·卡萨多:也许只是年纪大了健忘。

阿里·戈德西:但不管是什么原因……

马丁·卡萨多:瑞典才不管

美国的出口管制呢。

阿里·戈德西:是的,你知道,不管怎样,

我认为现在的规模截然不同了,对吧,

伴随着 AI,你知道,

以及,你知道,我们正在做的事情、

发展速度等等。

他们对前沿感到惊慌失措。

我确实认为网络安全实际上是

我们将要看到的最大风险之一,

对吧?

因为地球上有如此庞大的

基础设施。

顺便说一句,远比以前任何时候都多得多,

无论你谈论的是

萨达姆还是 Xbox

或是其他什么。

我的意思是,比如我们已经把

远多得多的事物相互连接在一起,

而且它们相互依赖,

而且,比如,今天的地球

在互联网、技术、

依赖性和互联互通方面,

看起来与 30 年前

截然不同。

所以我只想说明这一点。

有如此多的基础设施

就是不安全的,对吧?

如果你要释放出

这些智能体,

它们会找到漏洞。

它们会找到利用程序。

它们会到处攻破入侵。

所以这是一个真正的风险。

顺便说一句,

这一次它没有这样做,

但你也可以想象一种场景,

它也开始跳跃渗透。

比如,它获取资源

并开始在别处执行自身。

所以它有点像病毒一样传播。

那是一个真正的风险。

马丁·卡萨多:这纯粹是出于好奇。

我保证我不是,你知道,

故意在这里唱反调,

但是,比如,

你为什么认为

我们到现在还没看到多少实质事件呢?

比如,再次声明,

我比你年纪大得多。

我记得非常清楚。

所以当,比如,

互联网真正问世的时候,

当互联网刚出来的时候,

到了这个阶段,

我们实际上已经瘫痪了 10% 的网络。

我们曾让医院瘫痪。

我们曾摧毁关键基础设施。

我们曾因蠕虫病毒造成数百亿美元

的经济损失。

比如,所有那些事情当时都已经发生过了。

而且正如你所说,

当时我们建成的基础设施少得多,

你知道,

承载在上面的经济规模也小得多。

然而,你看,

AI 领域有这么多人

想要寻找风险和威胁。

我们跑得这么快。

投入了这么多的资金。

但我们还没有看到任何能与当年早期蠕虫病毒

相提并论的事情。

这种脱节是怎么回事?

阿里·戈德西:是的。

听着,我确实记得那些……

那些日子。

马丁·卡萨多:但你当时也经历过。

阿里·戈德西:是的。

所以,你看,

我只想说

我晚上睡得很安稳。

而且我认为

目前不存在生存危机。

我确实认为有大量的基础设施

需要加强安全防护。

马丁·卡萨多:是的。

阿里·戈德西:我们在市场上有一款产品,

在威胁检测市场上,

叫 Lakewatch,

它可以帮助你进行检测。

而且这个领域的发展

异常迅猛。

因为,你知道,

过去你会有这些 SOC 团队,

安全运营中心的人员,

他们会去查看

正在发生什么入侵、

我们是如何受到攻击的等等。

等等。

而现在人类

根本跟不上了。

所以这整个领域

所以这整个领域,

网络安全领域,

正在向全自动化转型,

在防御端

利用智能体

来进行检测。

在另一端。

如果我们不这样做,

我的意思是,

现在我们正争分夺秒,

我们正争分夺秒,

整个行业都在争分夺秒

极其极其迅速地推进这项工作。

如果我们不这样做,

我认为你就会开始

看到那类事情发生,

比如网站宕机、

你知道,

你知道,

整个系统

暂时停止运行一段时间,

这会带来不良后果,

虽不至于危及生存,

但经济损失、

以及,你知道,

有人受到伤害

等等,

都是可能发生的。

所以我们必须争分夺秒

极其极其迅速地

把所有这些事情全部做好。

只是,

你没有那种……

人类无法做出

足够快的反应

来应对正在发生的

各种攻击,

所以就是,

你需要将所有这些

全部实现自动化。

而大多数组织

实际上还差得远,

根本没有做到这一点。

银行业正在这么做,

一些安全意识

极强的人

正在这么做,

但当今大多数行业

仍在依靠

传统老式的

安全运营中心,

以及那些人员

每天一觉醒来,

就会面对

数百封

检测报警

触发的邮件。

其中很多

都只是误报,

所以你不需要……

你可以忽略它们,

但有些并不是误报。

他们根本没有时间

去逐一排查那些邮件,

而你必须能把它识别出来。

你必须拥有

威胁狩猎机制,

它是自动化的,

实际上是由你利用智能体

自动攻击

自己的系统

等等。

这目前还没有普及。

所以我确实认为,

比如,如果我们只是说,

嘿,这就像

早期的互联网一样,

你知道,

坏事是会发生的。

所以现在正在进行一场竞速。

马丁·卡萨多:你知道,

其实我非常惊讶。

今天早些时候,

我参与了一场对话。

比如,我觉得你和我

私交相当好。

我们经常定期交流。

我觉得自己还算

挺了解 Databricks 的,

但今天早上我接了个电话,

有位创始人

基本上是说,

“是的,听着,比如,

你知道,

我们正在做所有这些,

比如可观测性、

智能体威胁检测,

而且我们用的是 Databricks。”

我甚至都不知道

你们有这项业务,

坦白讲。

所以,比如,

我的意思是,

纯粹从增进认知的角度来看,

比如,你们涉足

有多深了,

在比如

智能体 AI

可观测性、网络安全

和防御保障这方面?

阿里·戈德西:是的,我的意思是,

我们今年在 RSA 大会上

做过一次演讲,

其实是和本·霍罗威茨一起的,

但核心问题是数据

与 AI

正在与网络安全相互融合。

这两个市场

正在合二为一。

因为我认为,

你知道,

至少……

是的。

它们合二为一的原因在于,

过去的情况是,

好吧,我们有,比如,

数据和 AI,

属于 Databricks

以及这类公司

过去做的事情,

也就是,

好吧,

你有一堆数据,

你运行 AI

和机器学习,

那完全是独立存在的。

然后你又有

网络安全世界。

网络安全世界是,

你知道,

我们想要检测出

异常恶意行为。

如果,比如,

有坏人试图

黑进我们的系统,

如果有坏人在搞

破坏,

我们需要把它检测出来。

好的。

但是现在,

在数据和 AI 这一侧,

我们有智能体在运行。

在公司内部,

人们都在运行各种智能体。

而且这些智能体还在,

比如,

和其他人的

智能体进行交互协作,

它们正在产生

海量的数据。

日志、

追踪轨迹,

你知道,

以及留下的各种特征痕迹。

因而,

你知道,

现在我们在内部

有了这些做这些事的

智能体。

于是这两个世界

开始越来越深入地融合,

也就是,

好吧,

既然如此,

所有产生的数据

都需要被分析。

而你需要进行分析的

规模,

简直就是,

许多、

许多个数量级,

比仅仅一

两年前高得多。

所以情况发生了

翻天覆地的变化。

比如,

在 2018、

2019 年,

所需要花费的时间,

从,

你知道,

一个 CVE,

漏洞被大概

公开发布,到你看到

它真正在业界

被武器化利用,

曾经需要,

大概,

两、

三年时间。

那个时间缩减到了,

你知道,

到了 2022 年显著缩短,

但仍然有,

大概,

八、

九个月。

那还挺充裕的。

你从一个漏洞出现有八、

九个月的时间

去……

那还是 2022 年。

现在,

如果你看看这条曲线,

从 2022 年到现在,

现在它已经缩短到,

比如,

基本上只需几小时。

所以这,

就像是,

缩减到,

比如,

基本上没有缓冲时间了。

比如,

事情会立刻

被武器化。

所以,

所以你必须

以自动化的方式,

凭借数据与 AI

的某种平台化方法来做。

因此这两个市场,

我要指出的是,

实际上注定会合二为一,

确实如此。

马丁·卡萨多:是的,

是的,

是的,

没错。

我同意。

那么这是一个非常具体的问题。

我其实觉得很多,

比如,

如果拉回到,

比如,

存在性、

生存危机(x-risk)的讨论上,

感觉似乎存在着两个阵营。

阿里·戈德西:是的。

马丁·卡萨多:有一个阵营,

他们认为这其实是一个工程问题,

而且,

比如,

像……

像……

Databricks 这样的公司可以解决它,

他们可以通过产品解决,

通过工程解决方案解决,

以及通过服务解决。

所以,

比如,

我们只要,

作为整个行业,

去解决那个问题就行。

阿里·戈德西:对。

马丁·卡萨多:而另外一些人,

在我看来,

他们实际上认为

根本没有工程解决方案,

你必须,

你知道,

放慢它的步伐,

你知道,

你必须动用监管,

它更像核武器,

等等。

所以,

比如,

这是否意味着你相信这是一个工程问题?

还是说你现在还不便如此表态?

因为,

否则大家还买什么 Databricks 呢,

伙计?

干脆把这些东西都放进国家实验室得了。

“控制节奏”

是唯一的解法。

我只是开玩笑。

每个人都放慢一点自己的节奏,

那我们就会没事的。

坏人也会放慢。

根本没有任何一种探索逻辑

能导向“控制节奏”,

我觉得没有。

我觉得要么你就彻底暂停它,

要么你就,

比如,

解决它。

阿里·戈德西:我们在这儿了解到的情况是,

马丁真的很讨厌“控制节奏”这个词。

我以后绝不会再跟你用这个词了,

永远不会了。

马丁·卡萨多:行。

显然如此。

记下了。

更让人抓狂了。

是的。

这是一个工程问题,

能够由工程师来解决,

还是说不仅如此?

阿里·戈德西:我其实在想,

我们讨论的到底是哪一个问题?

有两个截然不同的问题,

我认为被混淆了。

存在超级智能问题。

是的,

你知道,

而且我认为这很大程度上源于,

比如,

博斯特罗姆 2014 年出版的

《超级智能》那本书。

如果你看看其中的定义,

比如,

我觉得大家并没有

明确清晰的定义

说明什么是超级智能,

如果你读了他的书,

那些定义其实挺匪夷所思的。

所以,

我想

他脑海中所设想的,

当他说到超级智能时,

是,

你知道,

比如 AI 能够……

我不知道,

我记不清具体的例子是什么了。

大概像是,

大概像是,

它们可以在几秒钟内

写出一整篇包含独创性、

比如,

能通过同行评审内容的

博士论文。

而且它们可以进行,

比如,

跨越数千年的深度思考,

你知道,

在,

比如,

刹那之间。

而且,

你知道,

所以这是,

比如,

衡量,

它们的,

你知道,

运转有多快、

有多聪明的水平。

它们能自我学习。

是的。

是的。

这简直就是,

是的,

我的意思是,

没错,

但这完全高出了许多、

许多、

许多个数量级,

对吧?

这就像是,

问题的规模

完全截然不同。

所以,

如果真有这种东西存在,

我是否认为它仅仅是

一个有待解决的工程问题?

不,

我认为那确实非常……

如果发生这种事,

那确实是关乎生存危机的。

当然。

这也是大家都认同的。

所以,

我认为那是在同另一件事混为一谈,

也就是,

现在的这些智能体

离那种程度差得十万八千里。

这甚至都不是说……

根本没有任何类似的东西,

而且我们现在没有任何迈向那个方向的

路径。

是的。

但是这些智能体具备能力……

并且你能用它们做出

以前从未能做到的事,

在人类历史上。

所以,

我确实认为一个拐点

已经发生了。

有些事情已经改变了,

那就是,

我们在 Databricks

拥有优秀的安全研究人员,

但我绝不可能说,

让我们调集一万人,

放在一个沙盒里

工作一个月,

让他们完成

价值一亿美元

工资薪酬的工作量。

我们现在就能做到这一点了。

我们只要按下一个按钮,

就能调动十万人。

或者在数学领域。

比如,

我们可以说,

嘿,

我们想解决

一个数学猜想。

好吧,

找一些相当出色的数学家,

但让其中的一万人

协同合作,

你知道的,

这样你就能取得

非常迅速的进展。

所以,

这个,

我认为,

这会导致所有这些网络安全风险。

我认为网络安全是这里的首要问题。

这是,

我认为,

你可以通过工程手段来解决的。

而且我认为就像是,

我们正在为此努力。

许多其他人也在为此努力。

风险依然存在。

但它们并不是关乎生存危机的。

我认为我们应该去做。

另外还有超级智能这件事。

那种东西

能够做到,

写出一篇原创的博士论文,

或者比如,

进行直觉推理,

在十一维空间物理学中

瞬间完成,

不需要写下任何东西。

人类做不到的事情。

比如那种超级智能。

问题在于,

RSI

以及递归自我改进,

各实验室正在做的,

是否在把我们引向那里?

我们能走到那一步吗?

正在尝试去做。

尝试去做。

真的会是这样发生吗?

是的。

那会以多快的速度发生?

这才是最大的问题。

而且他们建议说,

你知道的,

嘿,

我们应该设立审查员,

让他们进来查看

我们正在做的事情。

我觉得这是个好主意。

让他们进到里面,

获取数据。

我很希望这样,

比如,

问题在于,

谁来担任审查员?

因为你可以,比如,

你可以暗箱操纵,

对吧?

你可以操纵人选。

马丁,你觉得该选谁?

马丁·卡萨多:是啊。

实际上有那么一群人,

比如,

在双方阵营中,

我根本不在乎他们。

如果由他们来担任审查员,

我不会太把

他们的说法当回事,

因为他们甚至在

进去之前,

就已经

下定结论了。

阿里·戈德西:对。

确实如此。

马丁·卡萨多:但打个比方,

举个例子,

如果扬·勒昆(Jan Bakun),

作为这项技术的发明者之一,

对吧,

你知道的,

深度神经网络技术,

对吧?

先驱之一。

如果他说,

嘿,

这里没什么好看的。

没有任何风险。

你知道的,

我是在意译他的话。

这算不上什么。

所谓的超级智能,

纯属无稽之谈。

继续往前走。

快点,

快点,

快点推进。

我们没人会相信。

我这是把话硬塞到他嘴里。

我引述得不一定完全准确。

现在,

如果他是审查员之一,

并且他进到里面,

实地查看了一番,

然后走出来,

说道:

嘿,

我看过了,

正如我之前所说的那样。

这里没什么可看的。

继续推进就行。

我对此会感到非常踏实。

我会说,

好吧,

嗯,

我会觉得非常踏实。

或者如果他出来后,

说道:

我的天哪,

你知道的,

他的立场发生动摇,

稍微

改变了主意,

那也会是

一个好思路。

让其中的一些人参与进来,

选拔多元化的人选,

这样我们就能得到

不同的、细微的视角。

你怎么看待

埃隆·马斯克的这种观点?

也就是,

它不太偏向第三方。

更多的是,

感觉上

大概有三种提议。

比如 OpenAI、

Anthropic 的提议

是引入第三方。

阿里·戈德西:是的。

马丁·卡萨多:埃隆·马斯克的提议,

据我了解,

是各大实验室互相交叉审查,

就像同行评审一样,

就像在科学界做的那样。

阿里·戈德西:对。

马丁·卡萨多:然后马克·扎克伯格的方案

是自我监管,对吧?

你怎么看待

中间这套方案?

让他们彼此面对,

比如,你知道的,

相互评估。

阿里·戈德西:我是说,

我觉得这就好比我们如果在

拳击台上举行拳击比赛,

拳手们直接充当

彼此的裁判。

那样行得通吗?

不行。

他们会无时无刻不在大喊犯规。

犯规,犯规,犯规。

就像,你知道的,

这就像是,啊,你知道的,

一旦对方

推出了一款伟大的模型,

就会变成,

“啊,巨大的超级智能风险!”

马丁·卡萨多:绝对会这样。

阿里·戈德西:就像,你知道的,

“他们根本不负责任。”

就像,你知道的,

当涉及既得利益

产生影响时,

比如有 IPO 计划,

而且这两家公司

竞争如此白热化,

他们之间还有

这样的历史恩怨。

马丁·卡萨多:是啊,他们肯定会

非常公正地

对待彼此,

我敢肯定。

阿里·戈德西:这就是为什么需要

第三方,对吧?

我是说,世界上为什么会有法官?

到底为什么?

我们到底为什么需要第三方?

比如,为什么大家不能

私下自己

把事情解决好?

但我的意思是,他们应该试试。

如果他们想做,

他们就应该试试。

但我持怀疑态度,

怀疑他们难免会

带有偏见,

你知道的,

在很多层面上

从自身利益出发,

比如,

你懂的,

去评判对方。

马丁·卡萨多:所以我必须问问,阿里,

你怎么看,

埃隆之前也说过的话,

我想那是在

All-In

你知道的,

峰会上,

他当时说,

这是一场精心设计的

四维象棋,

因为一方面

你在说

全人类都会毁灭。

另一方面,

你又在说,

嘿,

你想要

多少 IPO 认购配额?

对吧?

所以,

我的意思是,

那或许

是一种更犬儒的视角,

但是,

你如何调和这两者?

我是说,

这种矛盾与失调,

我想,

让很多人困惑。

比如,

你觉得

这该怎么调和?

阿里·戈德西:听着,

我觉得所有这些事情

都混杂在了一起。

比如,

我认为确实有些人

被吓坏了,

而且我确实也认为

有些人会说,

比如说,

比如,

嘿,

如果能有某种监管

能放慢我们的步调,

抱歉用这个词,

那对我们是有好处的,

对吧?

那会对我们有利。

但我也认为

人们有着

既得利益,

对吧?

这些事情,

就像,

你知道的,

人们通常总能想出办法,

总是让

所有这些事情

在他们的脑海里,

你知道的,

和谐自洽地统一起来。

所以,

是的,

我是否认为

过去存在一种倾向,

普遍来说,

通过,

总的来说,

通过说,

你知道的,

“天哪,

我训练出来的这个最新模型

太厉害了。

简直,

令人难以置信。

甚至,

几乎把我吓到了。”

连我自己都害怕。

然后整个世界

就像,

开始关注它。

是的,

一直都有那种类型的

营销手段在进行。

没错。

但与此同时,

并且,

正如我所说的,

从 CVE 出现

到真正武器化

漏洞利用的时间,

已经从过去的数年

缩短到现在的

几分钟,

仅仅用了

三、

四年时间。

所以,

这是真实发生的。

网络攻击是真实的。

这也是,

但这同时也是

一个极好的营销策略,

来,

你懂的,

每当你训练出

一个新模型,

就大肆渲染

它是多么

你知道的,

对世界造成何等疯狂的风险,

这对你是有利的,

对吧?

所以,

你知道的,

也许这两者之间

并不矛盾,

这些事情。

马丁·卡萨多:我是说,

你和我都是

做计算机网络出身的人,

在成立第三方组织

方面,

组织第三方机构

来协助仲裁事务有着悠久的历史,

对吧?

比如 IETF,

或者,

你知道的,

IEEE,

或者

甚至是 ICANN。

阿里·戈德西:我知道你要引向哪里了。

马丁·卡萨多:不,

不,

不,

不是的。

那么,

我想问你的是,

比如,

所以我其实觉得,

他们提出的方案其实非常合理。

确实如此。

我其实很赞同你的观点。

你可能希望确保

它是独立的,

而目前这一点并不算公平。

而且会有

很多关于

该派谁去那里的争论,

每个人都会有分歧。

阿里·戈德西:对,

确实。

马丁·卡萨多:但你说过,

你知道的,

为什么我们需要法官?

所以这就像是,

实际上国家

介入干预其实

是一件完全不同的事,

相比于基本上

行业自我监督。

那么,

你觉得在什么时候

才真正合理

去考虑

联邦层面的介入?

还是说你觉得

现在正是时候

去真正考虑

实际的联邦介入,

而不是像

更多的行业自我监督?

阿里·戈德西:额,

我是说。

这两者大不相同。

它们确实不同,

但它们在某种程度上

会相互交融。

比如,

你知道的,

就像比如,

FINRA(美国金融业监管局),

你知道,

并不是一个完全

独立的自我监督机构。

它算是一个,

但你知道,

它是与政府挂钩的。

所以,

我觉得这些事情

算是会逐渐渗透交融。

我觉得这对他们来说很难。

马丁·卡萨多:你觉得它们会演变成——

历史上,

它们曾经……

比如行业自我监督,

然后它演变

成了监管?

阿里·戈德西:听着,

如果他们在说

存在生存风险,

他们确实是这么说的,

你知道的,

而且他们在说,

来监督我们、

监管我们吧,

我觉得对于监管机构来说

很难去说:

“不,

我们不会那么做。”

到目前为止,

他们是这么说的,

但我觉得这不会

持续太久。

马丁·卡萨多:这太搞笑了。

好像不是戴维·萨克斯说的。

就像是说,

“我还从没见过有 CEO

要求我们去监管他们。”

而我最喜欢的一点是,

CEO 们是说,

“我也从没见过有监管机构

会拒绝这种要求。”

说不。

我是说,

现实情况是,

实际上的

元政治机器

其实已经在运转了,

对吧?

我是说,

每个人都有了一套说辞。

奥巴马也站出来了。

这是一个重大议题。

比如,

你觉得现实中是否存在

为时已晚的可能?

这将成为一个重大议题

在中期选举中,

而且我们实际上会走向

严厉的联邦监管,

这一切都将被叫停,

你知道的,

然后进入……

Anthropic 进入能源部(DOE),

而我们……

我们已经过了那个临界点,

还是说你觉得我们其实能够

最终达成某种明智的

自我监督式监管?

因为这是一个头条新闻

你无法……

阿里·戈德西:我们应该努力去

做正确的事。

我觉得依然存在

一定的自由度,

关于事情如何演变,

而且还有时间。

是的,

你说得很对,基本上

现在的这些公司,

我们向其中注入了

那么多数十亿美元,

而强化学习的运作方式

就是你,

你知道的,

给它设定一个奖励函数,

那是可以验证的。

比如我们要解决

这道数学题,

或者某类,

你知道,

某个狭窄领域

的编程问题等等,

诸如此类,

而我们往里面投入

那么多的资金,

你就能在那类狭窄领域中

获得相当不错的结果,

但这并不意味着

你正在获得

那种超级智能。

马丁·卡萨多:确实,

但你甚至可以,

你甚至可以,

你甚至会自我欺骗地

认为

比如更少的输入

正在给你带来

更好的产出。

仅仅是因为你进行了

如此多的尝试,

而且对此思考了

那么多,

对吧?

但实际上非常难

去做一个封闭的、

以这种方式做一个封闭实验,

考虑到有那么多的资源

正在被投入。

阿里·戈德西:额,

融资规模正呈天文数字般增长,

正如你所言。

马丁·卡萨多:是的,

没错。

阿里·戈德西:这就是为什么这些公司

要上市,

对吧?

我想如果不是这样,

他们会保持私有化。

我是说,

作为一个管理着

一家有规模的

私营公司的人,

我觉得在其他情况下他们会更倾向于

保持私有化。

马丁·卡萨多:是的。

阿里·戈德西:为什么他们要上市?

因为他们需要资金,

而且他们认为

扩展定律(Scaling Laws)

和资本

是一种战略优势。

这就是为什么他们要上市。

但我想说,

让我们回到我列出的

那四件事。

马丁·卡萨多:好的。

阿里·戈德西:如果那些是真的,

你知道,

如果那四点是真的,

你会想……

知道这件事吗?

那是否……

那会令人担忧吗?

那可能会失控。

现在,

并没有证据表明

那四件事正在发生。

但如果,

如果情况是,

你知道,

不,

那确实是未来的走向。

马丁·卡萨多:是的。

我其实觉得

理解

对于任何系统而言,

比如任何形式的

自我推进属性

都是很重要的。

我是说,

我们过去在动力系统上

就这么做过,

对吧?

比如我们在……

随便什么上都做过,

比如编译器。

我们在纳米技术的

所有研究中

也这么做过。

这向来是

我们共同关注的兴趣点。

阿里·戈德西:对。

马丁·卡萨多:而且我不认为

这有什么新鲜的,

这种兴趣

你会继续保持

关注。

我只是觉得

令人担忧的是,

这些特殊的系统

是纯粹的经济系统,

它们是如此复杂,

以至于风险在于

捕风捉影地宣称

你看到了它,

而实际上你并没有看到。

我觉得这种情况现在

正在大量发生。

阿里·戈德西:是的。

但我觉得,

但当然,

如果你看到了,

你知道,

当然,

我是说,

你肯定想知道。

但客观地说,

各大实验室

现在把很多精力集中

在 RSI 上,

这也是他们接下来的

前进方向。

也许他们只是

毫无根据地

自己吓唬自己,

就像他们当初担心

GPT-2 一样,

对吧?

他们那时说,

GPT-2 会毁灭世界,

结果并没有,

然后 GPT-3 和 4 就推出了。

马丁·卡萨多:我不想在这上面吹毛求疵。

很多时候

当他们提到 RSI 时,

其实谈论的是

自催化效应。

而自催化效应

在我们的行业中已经存在

非常、

非常久了。

举个例子,

你根本不可能

制造出

一枚电脑芯片,

如果没有电脑芯片的话。

你根本做不到。

任何懂计算机科学的人

都会赞同。

阿里·戈德西:你说得对。

编译器编写

它自己的编译器。

马丁·卡萨多:嗯,

那就更接近

RSI 了。

但比如像,

就像蒸汽机

是自催化的,

对吧?

听着,

我的全职工作

就是接待那些走出

实验室

出来创业的人,

他们都在讲 RSI,

因为每个人

都在说 RSI。

而其中,

可能只有 1%

真正算得上是 RSI。

他们其实,

他们更多的是,

类似于

我们用 AI 进行数据清洗,

我们用 AI 编写

GPU 内核,

让我们把这个做出来。

阿里·戈德西:所以你的意思是

它基本上是一种催化剂,

在于

他们用 AI

来加速研发。

马丁·卡萨多:它是自催化的。

阿里·戈德西:是的。

马丁·卡萨多:所以我想说,

在我们听到的

关于 RSI 的事情中,

比如一个模型训练

另一个模型,

对吧?

你用一个模型

来构建 GPU 内核,

你用一个模型

来做数据清洗,

就像我用电脑

去设计电脑一样。

这是自催化的,

每一项技术都是如此,

互联网

也是自催化的,

因为它让人们能够

远程

协作。

所以我想说,

这是基于经验之谈,

90% 的精力消耗

都是自催化式的,

这完全是

意料之中的事。

阿里·戈德西:而且这种情况已经持续

一段时间了。

我是说,

这甚至都不新鲜。

但我想说,

但现在也确实

存在一种焦点,

倾向于转向

我们究竟能否让

模型去训练

它自己?

这有点像

卡帕西(Karpathy)做过的

自动化研究(auto research),

但现在他们想

这么做。

确实有团队

在做这个。

马丁·卡萨多:这远没有

投入那么多精力,

如你所预期的那样。

而且我只是觉得

我手头实际上掌握着

很不错的样本,

因为他们所有人

都会来跟我们聊。

阿里·戈德西:太好了。

那也许你可以成为

调查员之一。

我们能拿到所有那些数据、

让我们所有人

一起审视那些数据吗?

也许这里根本

没什么值得大惊小怪的。

我个人不认为

有很高的概率

那四个标准

正在发生。

马丁·卡萨多:格雷格·布罗克曼

这周上了播客,

并说我们已经进入了 AGI 时代。

阿里·戈德西:是的。

所以现在我问了

同样的问题,

在他说了那句话之后,

现在每个人

都在说我们已经拥有了 AGI。

我感到被证实了。

所以你看

大家听从他们所说的。

但人们在

很长一段时间里,

每当我问起这个问题时,

都说 AI 比

我身边的

大多数人大多数时候都要聪明。

差不多从

去年第三、第四季度以来,

他们就一直在这么说了。

然后我问他们,

你们当中有多少人

拥有数百个,

甚至数千个智能体,

由你们在管理,

它们正在

彼此协调、

成群协作、

相互协商,

并且,你知道,

自动化你的生活

和你周围的一切,

如果有的话请举手,

结果几乎

没有人举手。

当然马丁娜

在家里这么做过。

不不,大多数企业

都只是在使用微软 Copilot。

马丁·卡萨多:是的。

阿里·戈德西:那基本上就是

他们 AI 应用的全部限度了。

大多数

跟我聊过的企业,

当我问这个问题时,

他们都说:

“不,我们完全没有那些东西。”

于是我们就问:

“那你们都在干些什么呢?”

他们在用聊天机器人,

比如向聊天机器人

提问,

那基本上就是

非常非常高大上、

且高效的

过去那种谷歌搜索,

其结果

只不过是更快的谷歌搜索而已。

然后就是写代码,

所以人们在用它

来辅助编程,

尽管投资回报率(ROI)……

你知道,

我们可以讨论那里的 ROI,

但并没有那种

类似智能体化的工作

去自动化

整个企业,

那种事情

根本就没有发生。

那么,

为什么会这样呢?

我认为

真正的原因

如果你实际观察就会发现,

模型本身

已经足够聪明了,

但它们就是没有

存在于

任何组织内部的上下文。

比如它们没有参加过

每一场会议,

它们不知道

每个人脑子里在想什么,

它们不知道

所有的业务流程,

它们不知道——

总是会有那么

几个员工

了解一切,

在每一个组织里,

你知道,

你走过去拍拍他们的肩膀,

他们就像是……

每个人都会觉得:

“我的天哪,

会发生什么事,

要是他或她离职了的话?”

你知道的,

它们并没有

那样的上下文,

而如果你只要

把这些融合起来,

并把那些上下文赋予

AI 模型,

仅仅依托今天的前沿水平,

我认为就能为

带来如此巨大的

生产力提升,

对地球上的

任何组织而言。

要做到这一点,

我们其实不需要

更聪明的模型,

所以我们不需要

一个更聪明的模型

去实际求解

纳维-斯托克斯方程(Navier-Stokes)、

或数学猜想,

亦或在“人类最后的考试”

(Humanity's

Last Exam)上表现更好,

比如非要

从

60% 提高到 70%,

这些统统不需要。

所以我认为实际上

人们对某些说法感到非常沮丧,

比如某种

“哦,

如果我们放缓前沿技术的节奏”,

但实际上

哪怕前沿

不再推进,

其实也无关紧要。

我认为对地球上

的绝大多数

组织来说,

他们在真正实现业务自动化

并从这些东西中获取价值的

采纳曲线上,

实在

落后得太远了。

马丁·卡萨多:但这对实验室来说

会是灾难性的,

因为智能的

价格

正在渐近式地

下降,

我想大概

每六个月

就会下降十分之一,

或者类似这样的速度,

所以那将会

剧烈改变

他们的商业模式,

假如

你不去推进

前沿技术的话。

阿里·戈德西:是的。

但这才是我们

应该关注的重点,

对吧?

我们应该关注——

你知道,

这里就像是有两面,

我们在这里经常讨论

成本,

对吧?

我们应该对每件事

都进行

成本效益分析,

对吧?

我们在这里深入讨论了

很多成本问题,

比如“哦,是否存在

生存威胁?

是否存在网络风险?

是否有我们

应该担心的

事情?”等等。

那属于成本方面。

收益又是什么呢?

我认为,既然现在

这已经变成了一个

公众议题,

整个公众

都关心 AI,

他们就会问:

“嘿,这对我

有什么好处?

我能从中得到什么?

看起来好像什么都没有。”

马丁·卡萨多:那么他们该如何实现目标呢?

迄今为止

你所见过的

哪些用例,

在正面收益上

也许让你感到惊喜?

阿里·戈德西:是的,我是说,

首先,

存在太多关于

比如

你知道,

生存风险

等方面的担忧,

所以我认为

很多人

根本不知道

什么是

你知道,

很酷的用例,

人们真正在用它做

哪些

有趣的事情。

我们有很多

用例,

我是说,

简直令人着迷。

我很喜欢的一个

是危机短信热线(Crisis Text Line),

你知道,

他们实际上在和我们合作

使用大语言模型,

来检测

青少年是否

有自残倾向

或自杀企图,

那是一个极棒的

用例,

而且它确实,

确实

拯救了生命。

所以那是一家很棒的机构,

而且,

你知道,

那个组织

正在做着了不起的工作。

另一个

挺有趣的用例

是 Omnipod(无管路胰岛素泵),

它是

面向糖尿病患者的,

他们可以佩戴 Omnipod,

它利用 AI

深入学习

你的胰岛素释放

和你的血糖水平,

并真正

精确释放——

你知道,

我不知道你记不记得,

过去人们总得

自己扎针,

对吧,

但现在这都能

自动完成了,

这就像是,

你懂的,

针对你身体的

自学习

AI,

你知道,

这是一个很酷的用例。

Zipline 是另一个,

他们做得非常出色,

马丁·卡萨多:哦,是的。

阿里·戈德西:你知道,

但当他们刚开始时,

就像是

这些无人机,

拥有,你知道,

它们是

完全自动化的,

全部由 AI 驱动,

一切

从……

你知道,

从电池优化

到路线规划

以及所有方面,

他们在配送

食物到……

你知道,

有匮乏需求的地区,

马丁·卡萨多:为难民运送血液。

阿里·戈德西:为难民运送血液,

是的,

最初始于非洲,

之后推广到世界

其他地方,

所以是的,

那太棒了,

那全是 AI,

那是一个 AI 用例,

你知道,

构建在 Databricks 之上,

所以这是一个很酷的案例。

但还有更

高级的用例,

比如我挺喜欢的一个,

虽然解释起来可能更有难度一些,

是我们构建的这个模型,

一个基于 Transformer 的模型,

是我们与默克(Merck)联合构建的,

它叫 TEDDY,

即“Transformer 增强型药物研发”,

马丁·卡萨多:太喜欢那个了。

阿里·戈德西:是的,

所以……

而且他们实际上发表了这项研究,

你可以去看看,

但它……

基本上它是一个模型,

它不预测

英语中的

下一个 token,

而是

预测基因

调控网络,

即 DRN,

将会如何做出反应,

而且它能真正检测出,

你知道,

哪些细胞是具有因果关联的,

哪些只是反应性的,

也就是说它们只是在做出响应,

因此

他们可以开始在药物研发中

使用这个,

并大幅

降低

针对特定疾病

研发靶向

药物的成本。

所以这是一个超级酷的用例。

这样的用例有很多,

你知道,

我提到过的

Genie,

你拥有这种本体体系,

你可以提出任何问题。

诺和诺德(Novo Nordisk)

正在使用这个,

你知道,

他们开发了

GLP-1 药物,

但诺和诺德现在

在做的是,

他们正把它用于

他们正在进行的

所有试验中,

而且它能够……

你可以把获取洞见

所需的时间,

比如对比你在做

一项肥胖症研究或类似项目,

从数周时间

压缩到数分钟。

所以有非常多

令人赞叹的

AI 用例,

我们也不应该忘记

这些正面价值,

比如我们希望拥有所有这些,

而且

我们不想放缓这些的发展节奏。

马丁·卡萨多:是的,完全没错,

你说得很对。

那么,

他们该如何……

如果你规划一下

未来 12 个月,

企业究竟

该如何实际获取价值?

你刚才提到了“上下文”(context)这个词,

但具体而言,

他们该如何把它落地实施呢?

阿里·戈德西:这其实比

大多数人认为的更难,

但是,

你知道,

首先也是最重要的,

我们必须确保

我们已经将

一个组织内部

正在发生的一切

全部数字化了。

这其实……

你实际上不可能只是,

你知道,

挥一挥魔法棒

就让它凭空实现。

所以你知道,

每场会议

都必须转录成文字,

你知道,

所以你必须能够

获取所有的上下文信息。

所有会议的录音,

以及正在发生的一切,

所有的数字化内容

都必须喂给人工智能,

所以你必须

构建……

我们称之为本体(ontology),

我们构建了这个,

但首先也是最重要的,

你必须把那些内容收集起来。

这本身就是一个难题,

在许多组织中,

因为法务团队会说:

“不要录下每一个电话,

不要记录所有事情。”

所以,

你必须做到这一点,

并且要以一种……

马丁·卡萨多:你能给“本体”下一个定义吗,

向大家解释一下?

因为

我知道 Palantir

经常提到这个词,

但这并不意味着

他们专属拥有这个词。

那究竟是什么意思?

对听众来说,

比如……

阿里·戈德西:是的,我的意思是,

你知道,

“本体”其实就是指,

在一个组织内部,

相互之间的关系,

也就是

所有抽象概念之间——

包括所有目标、

所有部门、

所有人员,

以及所有

正在开展的项目,

它们究竟意味着什么,

以及它们之间的关系是怎样的——

人员、

人员、

资源,

以及那家公司所做的事情彼此之间的关联。

所以,

这就像是

一个人,

作为新入职员工,

刚刚加入公司,

今天才第一天上班;

与另一个人,

已经在这里工作了

五年的人之间的区别。

你知道,

假设他们技能水平相同,

拥有相同的

教育背景,

同样聪明,

同样勤勉努力,

各个方面都一样。

但其中一位,

你知道,

今天是她第一天

来上班;

而另一位,

她已经在这里工作了

五年。

这两个人之间的区别

是什么?

在于后者掌握了一套关于该组织如何运转的“本体”:

组织是如何运作的、

每个人都是谁、

你该怎样才能把事情办成。

“别光看组织架构图,

那……

不要去问那个人,

他什么事都办不成;

你去问这个人,

你懂的,

他会帮你搞定。”

还有,

“那不是这里的办事规矩,

你不需要在这里

走那些文书流程。”

而且你知道,

“还有这个……

这个项目,

进展到底如何,

核心要点是什么。”

所以这其中存在着

大量

根深蒂固的隐性知识,

留存在每一个

懂得这家组织如何运转的人的脑子里。

这就是为什么

人们常说——

在初创企业界,

他们会说:嘿,

如果你失去了

大多数员工,

那家公司就无法恢复元气了。

你不能仅仅靠补充人员、

招聘新人来解决,

因为人是如此不可或缺。

我们如何才能获取

那些上下文信息——

也就是所谓的“本体”——

并将其提供给人工智能?

其中的一部分是,

我们必须拥有,

你知道,

会议录音以及所有此类内容;

但第二部分在于,

你实际上该如何

将其提炼浓缩

为一个图谱,

实际上是一个数字化图谱,

然后你才能

把它喂给人工智能。

所以,

如今很多

智能体(Agent)的工作方式,

比如 Claude Coder,

或者它们中的任何一个,

比如 Codex、

或者是 Pi、

或者你知道,

OpenCode,

你可以列出一整串

这类工具,

你知道,

它们都有这样一个循环,

智能体循环(agentic loop)。

它可以进行推理,

但接着它会去

逐个检查每一个资源,

一次查一个。

比如针对你的问题,它会去访问这个

MCP 服务器,

试图看看

答案是不是在这里,

是不是还有另一个,

然后它进行综合汇总,

并给你一个回答。

但这种方式有点太慢了。

我把这比作:

如果谷歌

当初也是

这样来构建谷歌搜索的,

在 25 年前,

我们当时就会说:

好吧,

我们要获取

10 个蓝色链接,

我们在这里搜索关键词;

但它不是直接给你

10 个蓝色链接,

而是先访问

某一个网站,

用大语言模型(LLM)总结

它的内容,

找到几个超链接,

并行跳转

到其中几个,

阅读几个网站,

这么做上 10 分钟,

然后再给你

比如它能找到的最好的

10 个蓝色链接。

那么,首先这会

非常昂贵,

每次在网络上这么做

都要花费巨额成本;

去联网搜索;

第二,它需要

耗费很长时间,

我们不得不等待

10 分钟之久;

第三,结果质量

会很糟糕,

因为你实际上

仅仅查看了

所有外部存在的内容中

极小的一部分,

对吧?

那么他们是怎么做的?

他们建有索引,

对吧?

你的请求从未离开过

谷歌的服务器。

你进行搜索,

它直接命中索引,

倒排索引(reverse index)

立即为你获取

10 个蓝色链接,

耗时你知道,

不到 100 毫秒。

我们需要

对人工智能做同样的事情。

所以“本体”就是这样:

我们需要持续不断地

离线计算

那个索引,

时时刻刻都在计算。

所以这几乎就像

谷歌当年

发明的

PageRank 算法一样,

在那个时代,

但这要更复杂得多,

因为谷歌当时

面对的只是

一个所有人

都可以自由访问的

开放网络,

而在这里存在权限问题,

马丁·卡萨多:而且链接本身就是现成的,

还有……

阿里·戈德西:是的,

这里涉及到权限

机制。

我有权访问

的数据,可能

并不是

你有权访问的数据。

所以这里存在隐私问题,

存在访问控制。

此外,这里我们

所面对的

对象类型

繁多复杂,

不仅仅是网页。

所以这个难题

难度要稍微大一些,

但它是可应对、可解决的,

你实际上确实能够做到。

所以你知道,

我坚信

你能做成这件事,

而且你可以从中

获得巨大的

生产力提升,

因为我们已经在 Databricks 做到了,

我们为自己做到了这点。

我们自己把它落地了。

是的,而且我们感觉

整个公司

彻底改变了,

完全不像

我想说的一年前

的那个样子了,

正是因为这一点。

马丁·卡萨多:我是说,你们一直

都在内部试用(dogfooding)Databricks

来服务自身,

很久以来都如此,

但也许可以多谈谈

你所看到的

对整个组织

带来的影响?

阿里·戈德西:是的,我的意思是,

一旦我们拥有了这个

本体,

并且开始

运用它——

实际上在我们

所有的客户中,

我们大概拥有

最大规模的

本体系,

我们拥有

最庞大的本体。

我们关于自身的本体,

比我们任何

客户

在利用

我们来构建

你知道,

他们的本体时

都要庞大,

因为 Databricks

对 Databricks 的使用,

比其他任何

客户

都要多。

所以这就像是拥有

数以千万计的

节点,

在图谱中,

在我们拥有的

本体图谱中。

所以这其实就是,

你知道,

一个组织内部

是怎么运转的?

一个组织内部

是怎么运作的?

你有一个树状

结构的组织,

信息

沿着树状结构

上下流动。

你知道,

如果你无法

做出决策,

你就会上报,

你的老板

也许他们能

做出裁决打破僵局;

事情逐级上报,

他们需要

了解掌握

正在发生的事情,

而且他们需要

获取所有的上下文,

然后他们做出

决策。

一旦决策

制定出来,

你就必须

将其在组织中

自上而下

传导渗透下去。

这其中的很大一部分,

现在都可以

由人工智能来完成,

前提是如果你拥有

一套本体。

为什么?

因为

你知道,

在会议上

会发生什么?

在会议中,

你们要过一遍

某些……

你知道,

有人完成了

分析工作,

你手上大概会有一份

PPT 幻灯片演示文稿,

里面放着一些精美的

图表,

那个人

做了分析,

某个精明的员工

使用 Excel

构建了一些模型,

里面包含一些

数字指标。

所以这其中的很多事情,

你现在完全可以

用人工智能来做。

所以人工智能

可以替你做

数据分析,

它掌握所有的上下文,

能以你想要的方式

进行呈现。

你可以就此

提出问题,

而不用再开

后续跟进会议,

你可以直接

提问,

直接向人工智能提问。

所以这非常类似于,

它符合

杰克·多西(Jack Dorsey)

曾经说过的

你对组织

可以做出的改造,

这只是一种具体的

落实途径。

所以对我们来说,

这是一个彻底改变游戏规则的突破。

现在在会议中,

每个人都在看手机,

打开 Genie,

他们在向

Genie 提问。

你可以看到,

一旦有人

说了什么复杂的事,

或者诸如此类的内容,

你就会看到所有人

都在翻手机。

马丁·卡萨多:你能分享那个财务相关的……

比如那个财务方面的趣事吗?

你曾经在一次

董事会会议上提过的。

阿里·戈德西:好啊,

当然可以。

那是在内部董事会会议上,

只要在合规(允许透露)的范围内。

对,没错。

不,其实是

当时我们做一份演示汇报

确实需要用到,

我需要了解

我们在财富500强中

有多少客户,

也就是

我们在财富500强里的

渗透率是多少。

于是我问了

销售运营团队里的

一名员工,

因为我以为

她手里会有这个数据。

结果她发短信回我

说:

“噢,抱歉,

我现在没法

登录 Genie,

我正在飞机上。”

我心想既然这样,

如果你只是

要去登录

Genie,

那我自己就能查。

我之所以问你,

是以为你掌握了

某种别的

替代渠道,

是我没有权限访问的。

所以后来我

感觉

有点生气,

于是我转头发短信

问了首席财务官

戴夫。

于是我发短信给

戴夫,

我说:

“嘿,你知道

我们在财富500强的

渗透率是多少吗?”

结果他直接

复制粘贴了

一张 Genie 的截图

回复给我。

原来他也只是去问了

那个。

所以我就说:

“难道这里就没人

会做点什么

新颖的事吗?

还是说

大家都只是

打开 Genie,

向

本体论

你懂的,

提问题?”

这就变成像

“让我帮你 Genie

一下”,

就像“让我去查查”。

现在每个人都这样,

现在我们只会说:

“嘿,有人能直接

从本体论里

把数据调出来吗?”

所以我确实认为

这是一个彻底改变游戏规则的突破。

但这绝不仅仅是

你按下一个按钮,

组织里就能拥有

一个本体论。

我认为

Palantir 实际上

做得非常出色,

他们深入到各个机构,

将大量的

隐性知识

沉淀记录下来,

并将其输送

到这些组织当中。

我们则是自动

获取这些内容

并构建图谱,

然后我们把

那个图谱

喂给智能体,

这样我们就能

回答问题,

并且是以

业务领导者

期望看到的方式

来呈现,

也就是以图表、

你知道,

分析性的方式呈现,

而且你可以

对那个问题

进行追问和探查,

并且,你知道,

可以继续提问,

并获得

这些问题的答案,

从而做出决策,

然后再把

那些信息

在组织内部进行分发。

马丁·卡萨多:是啊,这确实很了不起。

你刚才打了个标记提到,

开发者们

显然都在使用 AI,

但其价值存疑。

我想就这点

跟你深入探讨一下,

因为我觉得

你们可以说是

最早行动的一批人,

我之所以这么说,

是因为我不想用

“Token 最大化”(token maxing)这个词,

因为它带有

太强的负面意味,

但我认为

从表彰赞赏

那些能够利用 AI

来提高生产力的人

的角度来看,

你们

你知道,

走在了最前沿,

对吧。

然后呢,

当然,

就会出现这样一个周期循环:

“哎呀糟糕,

大家都在铺张浪费,

现在我们必须转向‘价值最大化’(value max)。”

比如你们在这方面

自己的心路历程

是怎样的?

以及,

你们是如何

思考“价值最大化”,

而非“Token 最大化”的?

另外,

我还想把

Unity Gateway 也带进讨论,

对吧,

因为我认为

成本管理

这一块

正变得愈发重要,

而你们正在

帮助大家做到这一点。

也许你可以结合着聊聊,

只要你觉得

有必要的话。

阿里·戈德西:好。

大概在去年第四季度,

那个时候,

你知道,

模型变得

非常非常厉害,

我们开始注意到,

好的,

它实际上已经开始

带来大幅提升的

生产力。

所以我自己其实也开始

使用这些模型,

亲自尝试

开始

你知道,

提交代码

到生产环境,

为 Databricks 提交代码。

比如真正的生产代码,

我想一路把它推进

到生产环境中去。

我做到了,

然后

开始督促

整个组织:

“嘿,

每个人都需要这样做。

我都做到了,

你们为什么不行?

如果 CEO 都能

把代码提交

到生产环境中,

提交到这样一个高度敏感、

有着各种安全要求的

数据平台上,

(具备如此严格的安全要求),

那你们也应该

能做到。

你们是指任何管理者、

组织里的任何人。”

所以我开始非常严厉地

督促所有人。

我们在第四季度开始设立

排行榜,

到了年初,

我想说是一月、

二月份,

当新一年启动时,

启动这一年时,

我们就已经

全面铺开、全力运转了,

每个人都在使用

这些工具,

我们一直在强力推动,

一直在对这进行

管理。

但是,

你知道,

整个

“Token 最大化”现象

发生在大约,

你知道,

二、三月份期间,

那时候就已经在发生了。

所以,是的,

我们只是运气好,

大概比其他人

领先了几个季度,

提早看到了

这里正在发生的情况,

当时情况已经开始

走向失控。

所以我们之前就已经有了

一个网关,

它叫做

Unity Gateway,

我们此前就已经

在用这个网关

来提供

Token 算力容量,

让你可以获取

OpenAI、

Anthropic、

Gemini、

Grok 的容量——

任何客户

都可以来找我们,

我们直接向他们提供

那些算力容量,

因为我们与这些供应商

都有合作关系,

以及任何开源模型。

于是我们开始

建立预算

约束机制,

并向大家发出预警,

比如:

“好的,你的预算

只剩这么多了,

你快要接近

你的预算上限了。”

我们开始针对个人

实施这种管控,

也针对团队推行,

接着我们开始

进行精细的数据分析,

从而能够准确预测

成本具体

都花在了哪里。

然后,

是的,

接着我们添加了

智能路由,

它们能够

挑选更便宜的模型,

如果你快要

接近预算上限,

或者如果,你知道,

你问的问题很简单。

我们开始推行这种做法。

我们还构建了

一个被称为 Omnigent

的框架(harness),

它可以

在不同的框架之间进行多路复用。

事实证明,

框架本身

非常重要。

比如你如果使用

完全相同的模型,

**阿里·戈

但使用不同的框架,

几乎会有

近两倍的成本差异。

哪怕是完全相同的模型、

你懂的,

相同的版本,

但只要框架不同,

实际成本就会

产生两倍的差距。

所以如果你能更换

框架,

你就能在成本上

获得巨大的杠杆空间。

于是我们开始运用

这一切,

使我们能够

真正实现

扭转成本曲线。

实际上我们的 AI

成本

基本上做到了

Token 消耗量

持续攀升,

但总成本

却基本保持平稳。

所以这对我们来说

非常非常关键,

而且市场对此有着

巨大的需求。

我想现在每家机构

都在经历这个过程。

马丁·卡萨多:是的,这也是我

第一次遇到。

我参加很多董事会会议,

我大概在二十多个董事会里任职。

有史以来第一次,

一家具有相当规模的公司

上周

表示他们正在

从前沿模型转向

GLM。

这是一家庞大的

工程团队。

你有看到这种情况吗?

你觉得

这是一个趋势,

还是觉得

这只是

一个个例?

因为我一直听说

相关的事情,

我还记得最初的

DeepSeek 时刻,

以及比如英伟达,

后来事实证明

并非如此;

接着是 Kimi 时刻,

以及下一次 DeepSeek 时刻,

似乎都没有

真正

产生明显的

市场冲击。

但现在我听到的

这类事例

已经相当真实了,

确实如此,

似乎

正在切实发生。

很想听听你的看法。

阿里·戈德西:我想,我认为

大家两者都想要。

他们想要,

你知道,

他们想要

最新的模型,

拥有超高智能,

用来处理困难任务,

从而获得投资回报率。

但同时也有

很多平淡琐碎的

蠢事,

比如,你知道,

有人竟然真的

用框架

去重命名文件

之类的。

你知道,

比如这

为此你需要付出

你知道,

高出几个数量级的

成本。

拜托自己手动敲键盘改名吧,

别让模型

做这种事。

它会在那儿运行

五分钟,

然后才

帮你把文件重命名,

还要花费你

你懂的,

好几美分。

但是……

马丁·卡萨多:我能理解有些人……

我只是好奇,

你是否真的看到

市场动向?

阿里·戈德西:不,确实有人在付诸行动,

但他们的做法

是,

你知道,

常见的模式是……

要么使用,

你知道,

你可以使用

这种专家模式,

也就是

你知道,

用更小、更便宜的

开源模型

来调用

专家模型,

那些大模型,

反过来也行;

或者是某种

能够让它们

有点像

打乒乓球一样

来回相互传递的方式;

但同时,

复用框架(multiplexing harnesses),

以及单纯通过切换

运行框架

来

控制成本,

这也是

大家正在做的事情。

你懂的,

人们发现,

举个例子,

你知道,

比如

Pi 非常高效,

当它作为

框架使用时。

所以是的,

我觉得

会出现

大量

这类方案。

这很容易……

模型本身

具有随机性(stochastic),

正如你所说,

每次

它们给出的都是不同的

答案,

而且它们变化

太快了,

所以现在有

大量的

实验

正在进行。

所以我认为

我们将

进入这样一个时代:

你不会

总是把

最聪明的模型

用于一切任务,

这在某种程度上

是过去几年的

主流范式——

比如新模型

一出来,

它超级聪明,

大家就拿它

做一切事情,

哪怕是非常非常

简单日常的任务。

马丁·卡萨多:我来告诉你

我看到的情况。

我看到

有人在架构设计上

使用 Fable 和 Astra,

用便宜的模型

来做具体实现,

然后再用 Fable

或 Astra

进行审查。

是的,

这似乎

正在成为

一种新趋势。

你们在初创公司里

看到的情况是怎样的?

我是说,

他们是不是……

阿里·戈德西:没错,

说实话,

就是这种模式。

马丁·卡萨多:开源模型占多大比例?

阿里·戈德西:按 Token 算,

还是按金额算?

马丁·卡萨多:都可以。

阿里·戈德西:按金额算的话,

开源

大概只占 5%,

非常少,

但如果按 Token

数量算,超过 60%。

马丁·卡萨多:是的,

我正想说这个。

我是说,我们聊过

比如

Decagon

这类的公司,

他们……

呃,我认为

内部使用

和面向产品的外部使用

是不一样的。

在面向产品的

外部使用方面,

我觉得他们

几乎高达

90% 都是开源模型。

在内部使用方面,

我并不是想特指

Decagon

这一家,

但他们很多公司的态度都是

类似

“我们不在乎,

我们就用

最前沿的模型,

我们没有去考虑

成本控制。”

但随着规模变大……

阿里·戈德西:是的。

没错。

马丁·卡萨多:你和我

参加过另一场

董事会会议,

会上他们确实

把那部分降下来了,

单纯从减少浪费的

角度出发。

所以我确实

看到

正在更多地

转向开源,

在产品

这一侧。

实际上,

这引出了

另一个相关的

问题,

大概也是关于

开源,

特别是后训练(post-training)

方面的。

我觉得

你们介入得

相当早。

我记得在 2023 年

跟你聊过,

你们是什么时候

收购 Mosaic 的?

阿里·戈德西:2023 年。

马丁·卡萨多:2023 年

夏天。

所以你在 2023 年

拥有的愿景,

在 2026 年

算是应验了。

我不知道

你们

是否认同,

对吧?

好像

这就是

我们听到

的声音,

在各处,

你知道,

当然,

就像是

都在说:

“嘿,

我们实际上

你将拥有

属于自己的

智能,

你将要

你懂的,

对你的开源模型

进行后训练

等等”,

这确实

是初创公司

正在做的事情。

我不知道

大型企业

是否也已经

在这么做了,

但……

我是说,

你是否觉得

你们在这方面走得

挺靠前的,

还是说……?

阿里·戈德西:是的,我是说,

首先,

你知道,

当初

我们刚起步时,

还流行说

“嘿,我们还要为你们

进行预训练”,

但这……

这毫无

意义。

你知道,

你可以……

现在有那么多

非常出色的

预训练模型

摆在那儿,

供你

直接使用。

但是你

确实能够

对模型进行

后训练,

而且你可以

进行强化学习,

是的,我们

实际上就是在按这种

规模

在做,

而且许多

初创公司

实际上都是我们的

客户。

所以我们

确实在帮他们,

你懂的,

利用

早期或

强化学习

环境,

在其中我们

能让这些模型

非常非常

擅长它们所负责的

具体任务。

对他们来说,

这么做非常合理,

只要你面对的是

重复性的

任务。

如果你

是一家

初创公司,

提供一款

产品,

而这个

产品是做

某些具体

事情的,

它不是

那种

通用

智能,

而是专门为你

完成某项

具体的

工作,

那选用一个

非常出色的

开源模型,

然后,

你知道,

利用

强化

学习,

让它在

那项具体任务上

表现极其出色,

就非常有意义。

你可以

降低

成本,

你可以

让它速度

变得极快,

你知道,

他们还能掌控

自己的

知识产权。

所以从这个

层面来说,

这是完全

可行的。

但对于

大型企业来说,

他们只需要

基础的

自动化,

现在让他们

做这些

实在

太勉为其难了。

我认为

挑战之一

在于

你需要

良好的

评估基准(evals),

而

做出好的

评估基准

是很难的。

所以,

尽管初创公司

可以这么做,

并且他们也有动力

去做这件事,

但对其他

机构而言,

最省事的

捷径

可能就是

直接使用

前沿

模型,

而不是必须去构建

属于自己的

评估基准。

我们之前其实

在产品中

为客户自动

生成过

评估基准,

而且我们把它

放在了

最显眼的核心

位置,

但后来

大家根本不打算

去用

它。

所以我们

就说:

“好吧,

把它挪到

后端

去吧,

变成可选功能”,

结果后来他们

就再也没碰过

它。

所以我

总体来说,

为什么呢?

他们就是

不想卷入其中,

这太复杂了。

我觉得

大家都想要

快速的

反馈激励,

就像:

“嘿,

出来了一个新

模型,

我想尝试

一下,

我想把这个

问题

解决掉。”

你没有

时间去搞

那套科学

方法:

先建一个

评估基准,

再建立一个非常好的

基线。

这有点像

TDD,

测试驱动

开发,

你懂的,

在软件

工程领域,

以前大家真的会做

测试驱动

开发吗?

极少有人

这么做,

对吧?

每个人都

说这是

正确的

做法,

但是

没有人

真正去

践行!

马丁·卡萨多:我知道

你们在

Databricks 搞了个

FDE 模式,

这是当下

非常热门的一个

词,对吧?

或者是当下

很火的缩写。

但要让其

在

落地到

那些

规模

如此庞大的企业中,

是必须

采用一套完整的

FDE

模式吗?

还是说

你们通常

是怎么做的,

以及

这种模式

又是如何

演进的?

能聊聊吗?

阿里·戈德西:是的,

我是说,

我们一直配备有

这些

FDE,

而且

市场需求

出现了

大幅

增长。

其中很大

一部分工作

在于

我们如何

构建

那个

本体(ontology)。

比如,

虽然

本体构建

是

自动化的,

但如果

你没有

收集

任何

信息,

你没有

记录

任何数据,

那么

这就是

我们所做的

关键事情

之一。

但除此以外,

还有像

这样的需求:

“我想

构建一个

智能体,

我希望它

能够

面向客户,

拥有

极低的

延迟,

同时我还希望

它具备护栏,

防止

有人跑来

滥用它,

或者

问一些

我们不想

让它

回答的

问题等等。”

于是我们

可以帮他们构建

这样的系统,

就像

福克斯(Fox)旗下的

体育 AI,

你可以

去和它聊

体育赛事,

你也可以尝试

去问它

政治话题,

它非常擅长

拒绝你,

转而

跟你聊体育。

所以

FDE 打造了

那个应用。

你知道,

我们会帮助

这些企业

真正

起步

使用 AI。

这非常

重要,

因为

很多机构

内部并没有

专门的专业能力

来构建

这些东西。

所以只要在

旁边提供

一点点协助,

他们就能

顺利

上手了。

就是这样。

马丁·卡萨多:是的,

挺有道理。

这个话题

更多是

偏向

智能体

这一侧的,

但我

最近

看到

好像

有一个

第三方,

中立的

第三方机构,

似乎

做了一些

测试,

显示

Lakebase

或者

Neon

实际上是

最受智能体青睐的

Postgres

数据库,

我觉得

这很有意思,

一方面是因为,

你懂的,

令人兴奋的

数据成效;

但另一方面,

要是在

一年以前,

我大概

根本猜不到会这样。

确实挺让人

意外的,

毕竟

市面上还有

其他一些

同样拥有

极高开发者

势头的数据库,

但它

非常明确地

位列第一。

所以我很好奇,

你们是怎么

攻克

这一难关的?

以及

到底是什么让你们

赢得了

各种智能体

的青睐?

因为如果你赢得了

智能体,

现在你就赢得了

整个市场。

阿里·戈德西:是的,我是说,

我觉得

很大一部分功劳

应该归功于

Neon

和尼基塔(Nikita)

及其团队。

我觉得

他们的做法是,

始终

极其执着地专注于

一件事:

如何

让模型

去选择、

让智能体

偏好

Lakebase

或 Neon

作为其

数据库?

那么

他们做了什么呢?

智能体

想要进行实验,

你知道,

它们会自主运行,

试图去构建

一些小型软件,

它们需要

数据库,

所以你需要

数据库能够

极快地

启动。

所以他们有一种执念:

一切操作

都应该用时

少于一秒,

你懂的,

远少于

一秒钟。

所以,

数据库启动

远不到

一秒钟;

你可以克隆

庞大无比的

数据库,

你克隆它

用时

同样不到一秒。

你知道,

它是高度弹性、

高度响应的。

接着他们打造了

这一杀手级功能——

叫做分支(branching)。

分支功能

允许你

对数据库建立分支,

你可以在同一个

数据库上

拥有许许多多

的分支,

而且他们把这个

过程做得

非常非常

轻量化。

我们在智能体的

其他工具中

也看到了类似趋势,

对吧?

比如 uv,

比如

ripgrep,

基本上就是把

许多 Unix 工具

进行了重写,

让它们变得

极其迅捷、

轻量,

并且对智能体而言

具备某种

故障安全(fail-safe)特性。

他们只不过是把这套思路

运用到了

一个更难的问题上——

那就是

数据库。

这样一来,

现在你有了一个

Postgres 数据库,

而这个 Postgres

数据库拥有

所有这些优势:

速度极快、

敏捷轻巧、

具备故障安全保护,

你可以随时

回滚到

快照,

能够执行

这些操作。

所以我认为,

正因如此,

智能体

使用它

才会

如此轻松。

此外,他们还确保了

其具备这样一种

定价模式——

你可不希望

仅仅因为

智能体在构建

某些软件

和做实验,

导致

成本

一路飙升。

如果数据库是用于

生产环境、

供大量用户使用,

你愿意为它

付费;

但如果只是为了

做实验就不行了。

所以我认为,

他们一直

保持专注,

他们并没有

试图去打赢传统

的数据库

大战,

或者是去证明

自己比某个其他

厂商更优秀。

他们之所以能做到,

是因为在数据库

领域,

过去的执念

一直是

“我们如何

帮助数据库管理员(DBA)?

我们如何

帮助应用开发者?

我们如何

帮助那些实际使用

数据库的人员?”

而他们改变了

游戏规则,

提出:

“嘿,我们如何

聚焦于智能体,

帮助智能体

获得它们所期望的

最佳数据库?”

你知道,

如今超过 90%

创建于

Neon

和 Lakebase 上的

数据库,

实际上都是

由智能体创建的,

甚至根本不是

人类建的。

所以你知道,

数据

不会说谎。

马丁·卡萨多:顺便说一句,

这确实非常了不起。

我自己已经开始

把 Neon

当作我的

标准数据库来用了,

这对我来说

挺不可思议的,

因为通常来说,

当一家公司进入

大型企业之后,

很多事情都会慢下来,

但实际上

这款产品

变得实质性地更好了。

他们是完全

保持独立,

还是会和公司

其他部门一起……

阿里·戈德西:没有,

这是一个极棒的团队。

我是说,

我们的合作

非常紧密。

你知道,

我们热爱数据库

和数据,

所以

我们全身心投入其中。

不过这个团队

在实现极致速度

方面做得非常出色。

响应迅捷,

而且非常适合智能体。

马丁·卡萨多:好的,

阿里,

你的

P(doom) 是多少?

低于 10% 吗?

阿里·戈德西:不,

接近于零。

你的呢?

马丁·卡萨多:我不知道。

我会说,我……

我唯一的答案

就是我

在没有 AI 时的

P(doom),

远高于

我在有 AI 时的

P(doom)。

阿里·戈德西:哇,

这回答真绝。

那你呢,先生?

发言人:在这一点上,

我同意

阿里的观点。

马丁·卡萨多:是啊。

太棒了。