Dan Biderman：AI 记忆、长上下文与持续学习

Dan Biderman：很高兴来到这里。

Dan Biderman：是的，自从创办公司以来，做这种饭确实少了些。不过做饭是我从小就在做的事，我父母和祖父母都会做饭。对我来说，做饭是一种放松、消化和思考事情的方式。

Dan Biderman：好的，我在想我们可以做一些带有蔬菜的牛肉丸，把它们浸在用白葡萄酒和鸡汤调制而成的白酱汁里。这是一道很棒的地中海风味肉丸，是我最近去特拉维夫看望父母时，用他们家里现有的食材偶然摸索出来的。所以我觉得能重新做一次……

……和你重新做一次，看看感觉如何，应该会很不错。

Dan Biderman：我们先来炒洋葱。我会把洋葱和大蒜切碎，然后把它们揉成丸子下锅煎。

Dan Biderman：事后看来，把这些经历串联起来很容易，但当时并非如此。我从小并没有计划要在旧金山成为一家热门 AI 领域的创业公司创始人，事情是自然发展到这一步的。我在特拉维夫长大，正如你所说，我曾是一名军官，在特种部队工作，具体是海军特种部队。那是一段非常有创业色彩的经历，本质上就是寻找并确定我们可以做的疯狂事情，向人们证明我们应该投入资源和人力去付诸实施。所以那里包含了大量的研究、大量的项目推介，以及大量把想法变为现实的艰苦工作。

在结束这段服役后，我去了大学，在以色列学习认知神经科学，这是一个很有意思的项目……

……实际上，许多以色列小说家、教授、科学家，甚至像以色列名厨 Yotam Ottolenghi，都在我之前很多年参加过这个项目。我在那里对大脑、人类行为以及统计学产生了浓厚的兴趣。

之后我去了纽约攻读计算神经科学博士学位。早在神经网络成为硅谷热门话题之前的几十年里，计算神经科学界就是一个坚守并关注神经网络的执着群体。当时我和一些统计学家、物理学家以及生物学家一起研究，试图理解如何利用神经网络来理解大脑和动物行为。

在看到 ChatGPT 之后，我决定深入大语言模型（LLM）领域。于是我开始在 Mosaic 工作，参与了 LoRA 的开发，并结识了很多优秀的人。之后，我前往斯坦福大学与 Chris Ré 和 Scott Linderman 一起工作（他们两位都是我现公司的联合创始人），并在那里遇到了我的联合创始人 Sabri，以及另外两位联合创始人 Jack 和 Jesse，他们当时分别在康奈尔大学和伯克利大学的实验室研究非常相似的课题。

Dan Biderman：是的，我们和 Assaf 以及 Wiz 的 CEO Eran Rabinovitch 合作非常密切，他也是我的导师。我觉得最重要的其实是，当你 18 岁加入情报部门或承担责任时，你不再只是处于学生状态，不只是埋头应对考试和做项目。相反，你会与成年人互动，拥有资源，并为自己的预算等事项进行争论。这迫使你培养社交技能和成熟度，我从中受益匪浅。

当然，世界上很多国家选择不让每个人参军是有原因的，这需要漫长的时间。我在以色列军队服役是在早些年，并不是最近这些年份。所以，我并不是推荐每个人都去参军，但我认为它会迫使你思考自己性格中除了智力之外的其他方面。

此外，总的来说，以色列的文化氛围提供了一个你可以拥有多次射门尝试的机会……

……哪怕你高中成绩不是最好的，你在军队里仍然可能获得一个好职位；如果你真的很优秀，大学的大门会为你打开更多。即使你在军队里没做什么特别有趣的事，但上了大学后发现自己对科学和工程有深厚的兴趣，你依然可以成为最成功的人。我们有很多以色列人就是这样，成为了各个学术和技术领域的领头人。

Dan Biderman：所以我想说，这基本上就像扑克牌重新分发了好几次，社会更加注重社交层面、成熟度以及团队合作能力。但当然也有代价，就是当你开始做这些事时年纪已经偏大了。我 24 岁才开始上大学，这在美国大学里已经到了读博士预科的年纪了。

Dan Biderman：我马上回答这个问题。我们能先热一下油吗……

Dan Biderman：倒点油在这里用来煎肉丸……

Dan Biderman：回到刚才的问题，我的博士研究方向是一个目前不算特别流行、但我认为会再次变得至关重要的领域——半监督学习（semi-supervised learning）。你的数据非常有限，并没有成千上万亿个 token 的数据。你需要从极小的数据集出发，进行有效的外推与学习，以实现更通用目标，也就是如何做到数据高效（data efficient）。因此，我所有的学术论文基本上都有同一张图表：x 轴代表某种成本或资源，y 轴代表准确率的帕累托曲线。这就是我的学术背景——追求效率，即如何用更少的资源做更多的事。

之后我去了斯坦福大学 Chris Ré 的实验室，在那里研究智能体以及被称为“仆从”（minions）的概念，探讨如何让智能体以经济高效的方式与极庞大的知识语料库进行交互。我们引入了一些涉及子智能体的模式……

……这在当时流行起来之前就已经提出了。

从效率和成本的角度来看，我们开始思考：除了智能体编排（agentic orchestration）之外，是否存在一种更高效的数据交互方式？我们能否利用训练的力量，打造出效率更高、速度更快且只需消耗更少 token 即可运行的模型？我们团队的几个人（Jesse、Sabrina 和我）当时并行探索了其中的一些想法。

共同的主题是：如果你有一个非常庞大的知识语料库，并给模型足够的时间提前进行研读——让它自我提问、自我测验、尝试解决问题，然后像预训练模型一样使用梯度下降对其进行训练——你就能为这些上下文创建出极其紧凑的表示形式，以便日后加载。我们称之为“卡带”（cartridges）。它们就像知识胶囊，可以随时载入或卸载到模型中，如同大脑状态一样，将模型对语料库世界的表征压缩 1000 倍。使用它们时，你消耗的 token 会少得多，模型的困惑度更低，准确率也更高。

Dan Biderman：它们可以是特定于语料库的，比如公司内部的文档；也可以是……

……针对特定任务的，比如你想学习某种技能。但其核心理念是，在许多情况下，超越纯文本表示是有深远意义的。

就拿我们现在做饭来说，我们手头有这么多棒极了的教材或食谱，比如 Sam Sifton 的书和 French Laundry 的书。这些都是令人惊叹的书籍，我很尊重它们。但如果说因为我们拥有并阅读了这些书，就说明我们深刻掌握了烹饪、达到了 Sam Sifton 或 Thomas Keller 的水平，那是不对的，对吧？我们可以阅读这些材料，以机械的方式重复他们的每一步，现在的 LLM 就好比每次都是第一次走进厨房，阅读菜谱、精准称量每一样食材，但它们缺乏大厨那种捏取盐粒、揉捏面团的直觉。

因此，我们通过这种训练和创建“卡带”所追求的，是赋予模型超越笔记和食谱的直觉能力，从而产生一种能够开创下一个食谱、探索未知领域并完成下一步外推的智能。

Dan Biderman：是的，这是一种极好的方法。我们并不是说完全不需要笔记。世界上所有顶尖的大厨都有笔记、书籍和日记，他们会记录实验中哪些方法有效、哪些无效。但他们同时也有大脑、双手和舌头，能记住某种食物的味道，记得什么成功了、什么失败了、什么容易、什么困难。

因此在我们的工作中，我们从来不认为文本表示是毫无用处的，我们一直在使用它们，构建 Wiki 和知识库等。与此同时，我们主张在文本表示之上的那一层——即以参数数值形式存在的直觉与学习层——代表了人类大厨的完整经验。世界上最顶尖的大厨，是将所有笔记与一个能够读取、运用并创新这些笔记的神经系统结合在一起的……

……他们不需要一遍又一遍地查阅相同的笔记，做某些菜时甚至完全不需要重写笔记。

目前的问题在于，我们希望能两全其美。对于任何知识工作者来说，如果不能做笔记、不能记录当天发生的事情，他们会处于劣势；但如果每天晚上都清空他们的大脑，他们同样会处于极其不利的地位。所以我们希望能兼顾两者。

文本表示确实能帮你走很远，但我们正在思考的是：看看如今知识被创造的速度，AI 代表知识工作者去创造产物（artifacts）、代码和文档。我认为人们还没有完全意识到 18 个月后他们所要处理的知识工作空间规模会有多么庞大。18 个月后，许多公司可能会拥有数万亿个 token 的内部公司数据和专有数据。说“数万亿”听起来可能有些夸张，但如果他们是真正的人工智能原生（AI native）企业，我认为这并非不可能。

想想看，数万亿个 token 意味着什么？两三年前我在 Mosaic 时，我们把这种规模称为互联网级别的数据（internet scale data）或预训练数据。想象一下……

每家公司都拥有基本上达到互联网规模的数据。

Dan Biderman：是的。也许今天有些公司还没有达到，而且目前使用文本表示（textual representations）还可以走得挺远，它们可解释性强，效果很好。但我认为到了一定规模，即使是这些文本表示也很难制作。如果你有万亿 token（词元），你如何精确地创建一个 Wiki 或索引并保持实时更新？你创建的这个知识库有多大？使用对你公司一无所知的前沿模型（frontier models）来处理这些数据的成本会有多高？

Dan Biderman：成本高昂一方面是因为你需要重复读取更多内容，消耗更多 token。这是其一。

第二，对于 18 个月后在这些大型知识库中执行的智能体任务（agentic tasks），当以越来越模糊、未明确定义的方式向模型提问时，我怀疑模型的准确性会下降。这就是所谓的“上下文腐化（context rot）”现象，对吧？模型需要读取的内容越多，准确度就越低。我们知道这一点，而且即使在 1000 万上下文窗口的规模下，这种情况依然存在。

Dan Biderman：我想说，研究界的一个棘手问题是：你能否举出一个例子，证明只有在权重内训练（in-weights training）才能奏效，而上下文学习（in-context learning）必然失败？

事实证明，很难设计出这样的例子。你给出的每一个例子，都会有人问：“那如果下一个模型拥有 1000 万的上下文窗口会怎样？”

而从我的学术背景来看，我认为所有这些关于持续学习（continual learning）和记忆的问题，本质上都是伪装成长上下文（long context）的问题。

如果模型能够看到整家公司的数据，并且原则上拥有无限的上下文窗口，那么它的局限性究竟在哪？

局限性主要有两个方面：首先，我们知道即使在非常小的规模下……

输入到模型中的上下文越多，模型就越混乱。这被称为“上下文腐化（context rot）”。你可以给模型输入一定数量的 token 而不报错，但这并不意味着模型能够对它们进行整体、全局的推理（holistic reasoning）。这是一方面。

Dan Biderman：我认为压缩技术正在日新月异地改进。对于现场还不了解什么是压缩的观众来说，它实际上是指模型自行管理上下文，剔除某些 token 并保留其他 token。压缩是有效的。但在更长的流程和跨度中，压缩从定义上讲是有损的（lossy）。你需要丢弃一部分、保留另一部分。我认为这个方向是对的。

Dan Biderman：是的，当会话非常深入时，就会出现问题，比如模型可能会感到困惑或发生遗忘。所以我们认为压缩会是解决方案的一部分。我们认为另一部分是某种神经记忆痕迹（neural memory trace），这同样是有损的，也会剔除一部分、保留一部分，但它不是存储在文本表示中，而是存储在权重表示（weights representation）中。

但我认为我们试图解决的最核心问题，或者说为什么需要持续学习，其一就是 token 效率和成本问题，这……

是一个重大问题。在去年底我们创办公司时这还不是个问题，但现在变得越来越紧迫。

第二个问题是，如果你能用更少的资源完成同样的事，那么当你扩展到非常庞大的资源规模时，你突然就能承担以前无法完成的任务——

Dan Biderman：我们还没完全做到那一步。我们目前专注于第一个方面，即让这些模型能够用更少的 token 在大上下文上进行推理，并且减少混乱。但我们认为最终，对于科学、工程、国防等领域极其困难的任务，解决方案的一部分将涉及在执行这些长跨度任务时，进行某种形式的基于梯度的更新（gradient-based updates）。有人称之为测试时计算（test-time compute）或测试时训练（test-time training），这些只是同一事物的不同名称。

我认为预训练已经为我们提供了存在性证明（proof of existence），即你可以极其高效地用非常少量的参数打包海量信息。我们喜欢举的例子是：如果你使用一个 Llama 70B 模型，

加载一篇来自维基百科的文章（只有几十 KB），模型在读取这几十 KB 内容时，其“大脑状态”在 GPU 的 HBM 显存上会占用高达 80 GB。是的，这是一个惊人的数字！

而这个模型的整套参数在 B16（BF16/FP16）精度下大约只需要 140 GB 左右。也就是说，这 140 GB 左右的参数（尽管略有失真）代表了整个互联网；而单单这一篇关于泰勒·斯威夫特（Taylor Swift）的文章，在 GPU 上消耗的显存居然属于同一个数量级！因此它的显存效率极低。这是一个系统工程问题，也是 KV cache（键值缓存）这个巨大的难题，世界上最聪明的人正在尝试从芯片端以及软件和内核（kernel）端来解决它。

所以从系统角度来看我们正在做的事，如果讲得更技术一点，与其让模型反复读取语料库进行预填充（prefill），我们相当于在“消灭预填充”。我们在其他阶段扩展训练计算（training compute），从而可以直接将知识装载进模型，然后立即开始解码（decode）或只进行少许预填充。这也与当前数据中心的建设趋势相契合，即实现预填充与解码的分离（disaggregating prefill and decode），并在不同的专用加速卡上运行。

这也是我们最初对这个项目产生兴趣的原因之一。

Dan Biderman：比如想想律师事务所或投资银行，他们可能有大量的客户事务（client matters）——

Dan Biderman：是的，很多客户事务。他们的客户会进行融资、并购（M&A）等交易，或者贷款。例如，这就是我们与 Harvey 合作时处理的情况：非常庞大的文件系统，智能体可能会遇到许多查询——无论是人类提出的还是智能体需要自主解决的——这些都是无法轻易通过 RAG 搜索到的全盘性难题。

比如，如果你想问：“我们今年有哪些并购（M&A）交易尚未完成？”要解决这个问题，你必须逐个审查客户事务，阅读所有文件。你无法在任何单一地方直接查到“未完成”的记录，你必须理解整体要义。

明白事情尚未闭环、尚未完成。现在你可以用前沿模型和上下文压缩来解决这些任务，但当你要求模型这样做时，处理那些我们认为很简单、公司里每个员工都能回答的查询，可能会消耗数千美元。

这只是一个例子，但这类全局/整体性问题，你通读全文就能把握要领，但无法在任何单一文档中找到现成答案。这类查询的特点是“整体大于部分之和”。

这就是训练的魔力所在，也是 Ilya Sutskever 等人通过预训练向我们展示的魔力，对吧？你在模型权重中学习了整个互联网，突然间模型就能推断事物、进行泛化（generalize）、插值（interpolate）和外推（extrapolate）到新事物上，这正是我们想要实现的技术。我们在整个互联网上进行训练绝非偶然，我们并不是简单地对整个互联网做 RAG，或者把它放入目录里到时候再读取，因为我们认为从海量知识中学习，能在某种程度上在模型中建立起这些联系。

Dan Biderman：所以，一部分是为了解决当下的具体问题，另一部分则是押注 18 个月后的数据规模将必须采用我们从预训练中总结出的方法。

Dan Biderman：是的，我们长期的野心是……

每个人都能拥有属于自己的模型、模型的一部分或一组代表其知识和专业技能的权重，模型会从他们身上不断学习。用户在模型上花费的时间越多、提供给模型的数据越多，模型就越契合他们。

Dan Biderman：是的，他们有动力去完善它，就像照顾电子宠物（Tamagotchi）一样：你越精心照料它，它就越讨人喜欢。这就是我们想通过模型创造的东西，也就是终极的持续学习（continual learning）。

我们认为在极端的单人规模下，事实证明这不仅仅是一个研究问题，更是一个重大的基础设施（infra）问题。

从长远来看，我确实认为这些模型最终会在用户的本地设备上运行。

我们现在看到个人电脑上的新硬件，很快就能在本地对接近万亿参数的模型进行推理，这对于个性化来说将非常有趣。

但在短期内，我们认为包含大量专业知识的高密度庞大知识库主要存在于企业中。那是人们花费大部分时间的地方，也是 AI 目前应用最广泛的领域。

我们的押注在于，像 LoRA、Cartridges、Memory Layers 等参数高效微调（PEFT）方法——这也是我们研究团队做出过贡献的领域——能够真实地表示知识，并且可以与上下文管理、可追溯的方法结合起来，以便人们使用、理解和审计。

Dan Biderman：没错。再次用厨师打比方，这就像厨师既有菜谱、食谱和日记，同时拥有一个能从每一次烹饪中学习的神经系统。

Dan Biderman：是的，可以说这对我们和所有人来说都是一个重大的开放性未解之谜。

这不仅仅是 AI 和创业领域的未解之谜，它也是人类记忆研究自诞生以来就存在的开放性问题。这就像，哪些知识应该内化，哪些知识应该外化。

记住你所看到的一切真的有意义吗？拥有这种能力的人往往并不享受这种能力，而且这可能非常分散注意力，有时甚至很可怕。所以一定程度的遗忘是健康的。有些事情你想直接记住，有些事情你更想用文字记录下来。

因此我认为这是一个开放的研究课题。解决这个问题的方法是训练模型，让模型能够自行管理遗忘，这也是我们目前的核心研究方向之一。让模型在没有任何显式监督信号的情况下，自行判断哪些信息可以从“大脑”中提取，哪些信息更适合记在笔记里。

这与数据中某些部分的显著性、它们重复出现的频率，以及当你从大脑中记住这个事实后能做些什么有关。你可以想象，记住今晚酒店的房间号，远不如记住伴侣的电话号码或你家的地址重要，对吧？

Dan Biderman：信号更高的数据。而现在的问题是——

——如果你开始手动、启发式地判断哪些数据该保留、哪些该排除，那就变成了打地鼠游戏。每个人、每个企业的数据都不同，你很难轻易挑选哪些进入、哪些不进入。

所以终极目标是让模型能够自我学习。让它像使用笔记本一样可以做笔记，同时使用参数高效的联想记忆机制供其读取，并由它自己决定何时使用哪一个，通过无约束的训练来实现。

我们正在为此努力，还需要更多突破，但我认为这就是梦想所在：让模型学会哪些数据该保留、哪些该排除，而我们则不再干预。

Dan Biderman：人在回路可以是用户。如果用户选择保留或删除某些内容，我们希望系统能够听取用户的意见。

Dan Biderman：是的，用户反馈是我们可以学习的来源，我们可以从中隐式学习，但我们不希望有人去监督每一步，因为那不是人们喜欢使用语言模型的方式。

不过我想说的是，我们正在构建的模型与其他模型不同：在其他模型里，你点赞或点踩，基本上只是在帮助提供者在下一个版本中给出更实用的东西。而在这里，如果你点赞、点踩或说了什么，你知道会有人根据你说的内容扩展计算资源，去训练和练习，以便——

——更好地处理你说的内容。

这正是我们想要达到的目标：建立用户信任，让他们知道自己的意见被认真听取了，并且他们正在参与构建一个更好的模型——这个模型不是泛泛地对所有人变好，而是专门对他们自己变好。

Dan Biderman：是的，反馈循环更紧密，而且我们使用了不同的机制。如果我们允许自己使用训练机制，就可以反复验证并确凿地强化进去，毫无悬念。

还有一点很重要：用户提供的信息并非全都是客观事实。我们并非所有人（包括我自己）都是爱因斯坦，我们可能会对模型表达一些我们自以为正确但模型却认为是错误的观点。而且模型会越来越好，它们知道的东西也会比我们越来越多。因此，模型必须在某种程度上学会理解并分辨哪些反馈是有价值的，哪些反馈应该被忽略。

我认为终极目标是为模型设定正确的标的，然后放手让模型自己去学习。

Dan Biderman：有的。我们会在接下来的几周和几个月里分享更多成果，目前有些内容还在保密中。但我想说的是，核心主题在于——你也能看到这一点，我们并非唯一注意到的人，但我们正在非常密切关注的是——围绕 Token 效率的行为，即模型能够快速定位所需信息并更高效解决问题的能力。本质上，这是一种关于智能的观点：变得更聪明意味着消耗更少的能量去解决越来越复杂的问题。这些正是我们努力的方向。很多时候它以效率和速度的形式体现出来，我们很快会分享更多细节。

Dan Biderman：是的，我认为路由是一个非常有意思的课题。很多企业和计算机科学家都在研究它，原因在于——

——我们现有的模型对很多事情来说都过于复杂了。你不需要 Fable 来告诉你煮米饭该放多少水和盐。但与此同时，当你试图破解一些超出你能力范围的高难问题时，你确实需要知道何时该求助于 Fable。因此我认为路由是一个很好的方向。不过作为研究过路由的人，我也知道路由并不容易。

Dan Biderman：我认为路由肯定会是解决方案的一部分。而且很多人（不仅仅是我）都认为解决方案是多模态/多模型的。这绝不是由 Engram 接管一切，或者只用一个模型教它东西然后就能“关闭星门”，那不是我们的方法。解决方案将包含某种形式的路由。

把路由功能应用到我们的项目中，就像你最好的朋友或无法解雇的员工一样，一直在身边观察你，告诉你看哪里、关注什么，甚至能带着更多背景信息，更有针对性地向 Fable 提问，然后 Fable 可以花几天时间帮你去解决极其高风险的任务。所以我觉得路由功能很棒。

它就像其他研究领域一样，是一个尚未解决的问题。虽然已经取得了一些进展，但要真正做到在合适的时间、以合适的成本将数据路由到合适的模型，还需要做很多工作。而且模型也在不断更新——

——新版本也在不断发布。所以是的。

Dan Biderman：我想说，我们团队有很多优势，我不确定“多元化”是不是其中之一。所以如果大家在看视频的话，我们可能需要稍稍增加一点多样性。不过我想说，对于我们试图解决的这个细分领域——也就是记忆和持续学习，吸收知识并将其转化熔炼到权重中——我认为我们的团队是这方面最专业的团队。而且我们团队很有趣。你认识 Jack，Jack 是个非常有意思的人。

Dan Biderman：Jack 教会了我们很多关于如何清晰思考、如何在内部以及对外部清晰表达的经验。Jesse 也采取了非常互补的方式，她深入思考了人类和人工智能如何在机人闭环中协同工作。Sabreena 和我更偏向系统侧。而我、Scott 和——

——Scott 曾从事统计工作。

Dan Biderman：是的，我们当中有些人更擅长数学，有些人更擅长系统，有些人更像人工智能领域的领袖。所以这很有意思。

我们尝试的方法是，把那些经验丰富的博士和那些加入我们公司的、极具潜力的冲劲型年轻新人配对，例如来自斯坦福和伯克利的 Shiraz 或 Dhruv。他们有研究背景也发表过论文，带着强劲的势头进入这个领域。我们喜欢把他们和在这个领域深耕几年、有一些直觉且能提醒他们远离陷阱的人配对。不同层次的专业知识和不同层次的创新思维的强大结合，使我们这里成为一个有趣的地方。

而且我想说，在文化上，从 2025 年秋冬（前沿实验室招聘和 AGI 焦虑极其疯狂的时期）的第一天起，我们所有人进入创业领域时都非常冷静，因为我们都知道这里不仅仅是一个研究俱乐部或期刊俱乐部。缺的是产品，而产品需要分销发售。你必须——

——通过销售人们喜爱的产品来赢得参赛资格。所以我们也在为此付出巨大的努力。

Dan Biderman：我想说，我的联合创始人 Sabreena，他一直都很喜欢美食。他在公司里非常有名，因为他是个“海陆大餐”狂热者。我午餐和晚餐都吃这个。和他一起在 DoorDash 上点外卖对我来说是一种启发。

我觉得 Jack 和 Jesse 的品味也很好。和他们在一起很有趣。我们现在在一个像公寓一样的小办公室里办公，所以我们经常一起吃午饭，然后也经常一起吃晚饭。

它有点像一个大家庭。在家里你可以看到父母和兄弟姐妹，有时候虽然相处太紧密，但你知道自己永远不会忘记那段时光。

Dan Biderman：我有吗？或许还不够多，也许这周末我会做一些。不过他们在“做”别的菜——他们在科学研究方面搞些花样。

Dan Biderman：是的，关于研究。那太好了。

Dan Biderman：我想说的是，我们正在努力构建的是能够不断学习的系统。显然，研究方面还有许多未解决的问题：如何在不破坏模型的情况下做到这一点，如何以经济高效的方式做到这一点，从哪些数据中学习等等。但这也是一个极其宏大的基础设施问题。

如果你真的相信未来会有数万亿 Token 的数据（甚至包括个人数据），如果你真的相信我们可以达到为每个人和团队提供这种参数高效适配器的水平，你就会突然想到，数百万个存储在不同位置的不同端点的部署，需要高效地从磁盘读取到 HBM。然后利用这段推理时间——

——进行调换和更新。如果一切顺利，这将需要大量的计算资源，并带来许多关于系统和人工智能工作负载平衡的新问题。

所以，我认为那些能够乐在其中并能给我们带来很大帮助的人，是那些像 vLLM 那样的性能工程师、研究工程师，他们知道如何让系统高速运转。我们已经有一些这样的人才。我们还有 Cade Daniel，他是 Databricks 的推理负责人之一，也是 vLLM 的核心贡献者之一。

我们都比较偏向系统侧，但我们认为基础设施工程师——也就是那些知道如何构建大型 API 和数据库的人——会很乐意研究他们在其他地方找不到答案的问题。而且我们一贯以来都欢迎聪明、有创造力、思维跳脱常规且致力于解决有趣问题的人才加入。

Dan Biderman：是的。我还想说一点，我刚才讲话的时候就在想，这种训练和持续学习有很多应用场景——

对我而言，核心原则在于：效率与智能这两者无法真正脱钩。

有时人们认为，如果你制造的产品效率更高、能帮你省钱，你就不属于高端类别，而是在制造更便宜的产品。把效率和智能对立看待完全是错误的。你用更少的资源能做的事越多，长期来看你能解决的任务就越有雄心。

因此，我认为目前 AI 扩展的范式一直是“用更多资源做更多事”，这带我们取得了巨大进步，并且它将继续成为构建智能的宝贵途径。

但许多实验室的领导者看到的下一个范式，包含着“用更少资源做更多事”的某些要素……

Dan Biderman：……通常更倾向于承担周期更长、难度更高的任务。所以，我希望超越企业应用和效率的范畴，达到更高的目标，去解决我们目前面临的挑战。

Dan Biderman：大家可以在哪里找到我们？

Dan Biderman：大家可以访问 Ingram.com 找到我们，也可以在 NSF 找到我们。大家可以写信给我 Dan@Ingram.com 进行交流。我想说的是，随着我们扩大公司各个部门的规模，包括工程、产品和业务，除了前沿 AI 研究之外，还有很多事情可以讨论，我们也可以向聪明的人学习很多东西。

Dan Biderman：这是我参加过最有趣的播客，让人感觉宾至如归。

Dan Biderman：也更容易深入交流。

Dan Biderman：超级有趣。我的权重已更新。