发布时间：2024-12-09 已有： 位 网友关注
由于人类文本数据的耗尽，大模型训练转向使用由LLMs生成的合成数据，但这未能使预训练继续扩展，导致AI大模型正在转向一个新的范式——从预训练转向测试时计算。
Chetan介绍道，测试时计算实际上是让大型语言模型审视问题，想出一系列可能的解决方案，并行推进多种解决方案，同时有一个叫做验证器的东西，反复地对解决方案进行迭代处理。
从预训练转向推理，对AI究竟意味着什么？这在过去六到八周里，已经改变了风投的投资逻辑。
从预训练转向推理，究竟意味着什么？
Chetan 强调了测试时推理范式的两个关键挑战：首先，用于测试时计算的算法可能很快就会耗尽解决方案的有用空间；其次，验证器在区分好的和坏的解决方案以及寻找最优路径方面的能力，并不确定是否能随着计算力的无限扩展而线性增长。此外，任务本身的复杂性和模糊性意味着限制因素可能不仅仅是计算力。
尽管存在这些挑战，Chetan 对通过算法、数据、硬件和优化改进来解决这些问题持乐观态度。
Modest从微观层面分析了从预训练转向推理时间的几个重大影响。其一，它能使收入生成与支出更好地协调一致：
我认为这对于整个行业来说是一个非常非常有益的结果，因为在预训练领域，情况并非如此。将投入 200 亿、300 亿、400 亿美元用于资本支出，在 9 到 12 个月内训练模型，进行训练后的工作，然后将其推出，然后希望通过推理从中获得收入。在测试时间计算扩展的世界里，你现在正在使你的支出与模型的底层使用情况相匹配。因此，就纯粹的效率和财务方面的可扩展性而言，对于超大规模企业来说，这要好得多。
Modest认为第二个重大影响在于，但如果确实看到了向推理时间的转变，在网络架构、芯片集群布局等方面，以及支撑投资世界很大一部分的诸多叙述，都需要进行重新思考：
需要开始思考如何重新设计网络架构？是否需要在能源低成本的陆地上建立数百万个芯片超级集群，还是需要在全国范围内分散布局更小、更低延迟、更高效的推理时间数据中心？而且当你重新设计网络架构时，对电力利用率和电网设计的影响是什么？我想说，支撑投资世界很大一部分的诸多叙述，我认为都得重新思考。而且我要说，由于这是一种相对较新的现象，如今公众市场尚未开始着手应对这种潜在的新架构是什么样子，以及它可能会如何影响一些潜在的支出。
过去的六到八周里，小模型改变风投思维
Chetan和Modest都不确定预训练是否会回归，但当前的瓶颈意味着小型团队有机会在特定领域展现创新。
Chetan观察到，在过去的六到八周里，不断有小型团队涌出，他们正在以相对较少的资金开发新模型，并在性能上与前沿模型竞争，这是过去两年中未曾见到的现象。
Chetan指出，开源模型，特别是Meta的LLaMA系列，使得小型团队能够快速追赶技术前沿，无需巨额投资。小型团队能够通过下载、部署和优化开源模型，以较低成本迅速达到技术前沿。由于不需要大量的计算资源或数据，小型团队可以在特定领域快速展现创新能力，迅速达到技术前沿。一旦小型团队达到技术前沿，他们可以与大型服务提供商建立合作关系。
在这一趋势下，GPU的限制也减少了。与2022年相比，对于处于技术前沿的团队来说，GPU资源的限制已不再那么严重，尤其是在测试时推理和计算方面。
这也带来了风险投资的转变，从一度回避资本密集型的大型模型训练而专注于应用投资，转向开始关注更灵活、资本效率更高的小型模型团队创新。Chetan表示：
风险投资模式一直是能否组建一支非凡的团队，实现技术突破，做到资本轻型化，迅速超越现有企业，然后以某种方式获得分销立足点并推进。在过去两年的模式层面，这似乎绝无可能实现。但在过去的六、八周里，这种情况确实发生了改变。
在测试时间或推理范例中，有两件事很快就会凸显出来。第一，大型语言模型会非常迅速地探索潜在解决方案的空间
第二点，存在一种被称为验证器的东西，它正在审视哪些可能是好的解决方案，哪些可能是坏的解决方案，应该追求什么。
在微观层面上，从预训练转向推理时间有几个重大影响。其一，它能使收入生成与支出更好地协调一致。在测试时间计算扩展的世界里，你现在正在使你的支出与模型的底层使用情况相匹配。因此，就纯粹的效率和财务方面的可扩展性而言，对于超大规模企业来说，这要好得多。
第二个重大影响在于，向推理时间的转变需要开始思考如何重新设计网络架构？是否需要在能源低成本的陆地上建立数百万个芯片超级集群，还是需要在全国范围内分散布局更小、更低延迟、更高效的推理时间数据中心？而且当重新设计网络架构时，对电力利用率和电网设计的影响是什么？
部分原因在于开源模型的数量惊人地激增。具体来说，Meta 在 LLaMA 方面的所作所为在这里产生了巨大的影响。
你不需要大量的计算资源，或者你不需要大量的数据，你就能够在特定的垂直领域、特定的技术或者特定的用例方面展现出特别的聪明才智和创新能力，从而非常迅速地跃升至前沿。
对于处于技术前沿的团队来说，他们不再特别受限于GPU资源，尤其是在追求测试时推理或计算的情况下。
。鉴于当前的进展和创新，再加上现在转向测试时的计算和推理，从这个角度来看，通用人工智能即将到来。
如果 OpenAI 选择宣称已实现通用人工智能，我认为这将在他们和微软之间引发一种非常有趣的动态，这将加剧当前已经在发挥作用的、本就非常有趣的动态。
所以，这在明年肯定是值得关注的，不仅对公开市场的投资者而言是如此，对更广泛的生态系统的影响也是如此。
六、九个月前大家都非常担忧的增量资本。但从第三季度的数据中得出的看法是，这里有应用场景。推理正在进行。技术正在发挥其应有的作用，
在私人市场中，正在发生的事情之一就是计算价格的急剧下降，无论是推理还是训练，或者其他什么，因为它变得越来越容易获得。如果你今天坐在这里，作为一名应用程序开发人员，与两年前相比，这些模型的推理成本下降了 100 倍、200 倍。
今天我的嘉宾是Chetan Puttagunta和Modest Proposal。如果你像我一样痴迷于人工智能前沿以及商业和投资影响，那你一定会喜欢这场对话。Chetan是基准资本Benchmark的普通合伙人兼投资者，而Modest Proposal是一位匿名投资者，他在公开市场管理着一大笔资金。两人都是我的好朋友，也是这个节目的常客，但这是他们第一次一起出镜。
时机再好不过了。随着顶尖实验室达到规模极限，并从预训练转向测试时的计算，我们可能正在见证人工智能发展的一个关键转变。我们一起探讨这一变化如何能够使人工智能开发民主化，同时重塑公共和私人市场的投资格局。请享受与我的朋友Chetan Puttagunta和Modest Proposal的精彩讨论。
LLMs的现状及其规模
那么，Chetan，或许你可以先从你的角度跟我们讲讲，在关于大型语言模型及其扩展的故事中，在技术方面当下最有趣的部分是什么。
是的，我认为我们现在处于这样一个阶段，即人们普遍认同或知晓，在过去的两年里，所有实验室在如何看待规模扩展方面都遇到了某种趋于平稳的效果，这特别是在预训练领域。据规模扩展的规律，在预训练中，计算能力增加得越多，得到的模型就越好。一切都以数量级来考虑。所以，在这个问题上增加 10 倍的计算能力，模型性能和智能就会有一个阶跃函数式的提升。
这无疑在这里带来了令人难以置信的突破，我们从所有实验室看到的都是非常出色的模型。但这一切的阴影甚至从2022年底开始，在某个时候，我们将耗尽由人类生成的文本数据。
而且我们很快就要进入合成数据的世界了。世界上所有的知识实际上都已被标记化，并被这些模型所吸收。当然，存在小众数据、私人数据以及所有这些尚未被标记化的小型存储库，但就数量级而言，这不会对这些模型的可用数据量产生特别显著的增加。
在 2022 年展望未来时，你们看到了合成数据是否能让这些模型继续扩展这个重大问题。
正如你们看到的那条线，大家都认为这个问题会在 2024 年真正凸显出来。而现在我们就在这里，我们身处当下，大型模型供应商都在努力用合成数据进行训练。而现在，正如媒体所报道的，以及所有这些人工智能实验室的领导者都公开表示，由于合成数据，我们现在遇到了限制。
由大型语言模型自身生成的合成数据无法使预训练中的规模扩展得以持续。因此，我们现在转向一种被称为测试时计算的新范例。从非常基本的层面来说，测试时计算就是你实际上让大型语言模型审视这个问题，想出一系列可能的解决方案，并并行推进多种解决方案。你创建了这个叫做验证器的东西，反复地对解决方案进行迭代处理，而这种新的扩展范例，可以说，在 X 轴上以对数刻度测量的时间，以及在 Y 轴上的智能。
这就是我们如今的处境，似乎几乎所有人都在迈向这样一个世界：在这个世界里，我们从基于预训练和训练的扩展，发展到基于如今被称为推理的扩展，或者说推理时间、测试时间，无论你怎么称呼它。这就是截至 2024年第四季度我们的现状。
这是一个关于整体情况的后续问题。那么，先把资本支出以及我们稍后与大型公共科技公司讨论的所有其他问题放在一边，基于你现在所了解的情况，能否说，转向以时间为变量的测试时缩放，就像“谁在乎呢？”只要这些东西变得越来越强大，这不就是最重要的吗？而且我们是以一种不同于仅仅基于预训练的方式来做这件事的，这一事实又如何呢？真的有人在乎吗？这重要吗？
在测试时间或推理范例中，有两件事很快就会凸显出来，那就是大型语言模型会非常迅速地探索潜在解决方案的空间。作为模型开发者或从事模型工作的人员，很快就会意识到，用于测试时间计算的算法可能会很快耗尽有用的解决方案空间。这是第一点。
第二点，存在一种被称为验证器的东西，它正在审视哪些可能是好的解决方案，哪些可能是坏的解决方案，应该追求什么，以及能够辨别出哪些是好的解决方案，哪些是坏的解决方案，或者哪些是最佳路径，哪些不是最佳路径。目前尚不清楚这是否会随着计算能力的无限增强而呈线性扩展。最后，任务本身可能是复杂的、不明确的，而限制因素可能是计算能力，也可能不是。
所以，思考这些问题总是非常有趣的，就好像你有无限的计算能力来解决这个问题，你能否做得更快？当然，在推理方面，肯定会有一些问题，如果你只是扩大计算规模就能做得更快。但很多时候，我们开始看到证据表明，在我们当今拥有的技术中，这不一定是能随计算呈线性扩展的东西。
现在我们能够解决所有这些问题吗？当然，会有算法的改进，会有数据的改进，会有硬件的改进，这里会有各种各样的优化改进。我们仍在发现的是，用于推理的基础模型所拥有的固有知识或可用数据仍然有限。仅仅因为你在追求测试时间，并不意味着你就能通过在测试时间扩大计算规模来突破之前所有的数据限制。
所以，这并不是说我们在推理方面遇到了障碍，也不是说我们在测试时间遇到了障碍。这只是问题集、挑战以及计算机科学问题开始演变。作为一名风险投资家，我非常乐观，相信我们能够解决所有这些问题。但它们是可以解决的。
那么，如果这就是研究实验室的观点，Modest，我很好奇你能给我们讲讲大型公共科技公司的悲观看法，因为在这个话题上，很多内容都是关于支出资本、战略定位、所谓的所有这些支出的投资回报率，以及他们将如何在这一巨额资本支出中获取回报。你认为Chetan刚刚所说的一切都能很好地反映在公共科技公司的立场、定价和估值中吗？
我认为你必须从宏观层面开始，然后再深入到微观层面。为什么这很重要呢？因为大家都知道，如今在标准普尔 500 指数中，大型科技公司所占比例更大。但除此之外，我认为从主题上讲，人工智能已经更广泛地渗透到工业、公用事业领域，而且我认为，作为对这一领域的直接投资，其市值占比在 40%到 45%之间。
而且，如果你甚至将其扩展到世界其他地区，你就会把阿斯麦、台积电以及整个日本芯片行业都牵扯进来。
所以，如果你看看累计市值，这是当下对人工智能的直接投资，规模巨大。所以我认为，当你审视整个投资格局时，你几乎被迫对此形成看法，因为几乎所有人都会在某种形式上与一个指数进行对比，而该指数在微观层面上将是人工智能的衍生投资。我认为这是一个令人着迷的时代，因为所有的公开市场投资都是对不同路径进行情景分析和概率加权。如果你回想一下大概四个月前我们谈论的时候，我想说，结果的分布已经发生了变化。
当时，在那个时间点，在那个层面上进行预训练和扩大规模绝对是可行之道。当时我们就讨论了其影响。我们谈论过帕斯卡的赌注，也谈论过囚徒困境。在我看来，当投入成本是 10 亿美元或 50 亿美元时，谈论这些是容易的。但我们很快就要接近这样一个时间点，届时赌注将达到 200 亿美元或 500 亿美元。你可以看看这些公司的现金流量表。很难悄悄加入300亿美元的交易额度。
因此，GPT-5 的成功总体上崩溃了。让我们将其应用于所有不同的实验室。我认为这原本会是关于投入资金量的一个重大证明点，因为这些都是三到四年的投入承诺。如果你回到写这篇的时候，当时是在谈论 Stargate，即假设的由 OpenAI 和微软讨论的 1000 亿美元数据中心，那是在 2028 年的交付承诺。
但在接下来的六到九个月中的某个时候，要么行，要么不行。我们已经知道，30 万到 40万个芯片的超级集群将在明年年底到 2026 年初交付。但我们可能需要看到下一款机型取得一些成功的证据，才能获得下一轮的承诺。所以，我认为所有这些都是背景。在微观层面上，如果我们从预训练转向推理时间，这将是一个非常有力的转变，并且有几个重大影响。
其一，它能使收入生成与支出更好地协调一致。我认为这对于整个行业来说是一个非常非常有益的结果，因为在预训练领域，情况并非如此。
将投入 200 亿、300 亿、400 亿美元用于资本支出，在 9 到 12 个月内训练模型，进行训练后的工作，然后将其推出，然后希望通过推理从中获得收入。在测试时间计算扩展的世界里，你现在正在使你的支出与模型的底层使用情况相匹配。因此，就纯粹的效率和财务方面的可扩展性而言，对于超大规模企业来说，这要好得多。
我认为第二个重大影响在于，同样，我们必须说，我们不知道预训练的规模化是否会停止。但如果你确实看到了这种向推理时间的转变，我认为你需要开始思考如何重新设计网络架构？你是否需要在能源低成本的陆地上建立数百万个芯片超级集群，还是需要在全国范围内分散布局更小、更低延迟、更高效的推理时间数据中心？而且当你重新设计网络架构时，对电力利用率和电网设计的影响是什么？
我想说，支撑投资世界很大一部分的诸多叙述，我认为都得重新思考。而且我要说，由于这是一种相对较新的现象，如今公众市场尚未开始着手应对这种潜在的新架构是什么样子，以及它可能会如何影响一些潜在的支出。
小团队也在打造出色的模型
Chetan，我很好奇，或许能讲讲 DeepSeek 以及其他类似的情况，在这些情况中，你会看到小团队用相对较少的资金构建新模型，在性能上与一些前沿模型相竞争。你能谈谈这种现象以及它让你想到了什么，或者对整个行业有何影响吗？
这真的令人惊叹。在过去的，大概六周的时间里，我们在 Benchmark 这里见到的团队，成员人数在两到五人之间。Modest之前在你们的播客中谈过这个，那就是技术创新的故事一直是，在帕洛阿尔托的某个车库里，总是有两到三个人在做一些事情，以非常非常迅速地赶上老牌企业。
我认为我们现在在模型层看到了这种情况，坦率地说，这是两年来未曾见过的。具体而言，我认为我们仍然不能百分之百确定预训练和训练规模的回归不会发生。
我们目前还不知道。但在当下这个趋于平稳的时期，我们开始看到这些小团队赶上前沿。我所说的前沿是指最先进的模型在哪里，特别是在文本处理方面？我们看到这些小团队，确切地说，只有两到五个人，以远低于大型实验室投入多个数量级的资金跃上了前沿。
我认为部分原因在于开源模型的数量惊人地激增。具体来说，Meta 在 LLaMA 方面的所作所为在这里产生了巨大的影响。LLaMA 3.1 有三种版本，分别为 4050 亿、700 亿和80 亿。而 LLaMA 3.2 则有 10 亿、30 亿、110 亿和 900 亿这几种版本。
你可以获取这些模型，下载它们，将它们放在本地机器上，你可以将其放入云端，可以将其放在服务器上，并且你可以使用这些模型来进行提炼，优化——调整、训练、改进等等，等等，并凭借相当有趣的算法技术跟上前沿。
而且由于你不需要大量的计算资源，或者你不需要大量的数据，你就能够在特定的垂直领域、特定的技术或者特定的用例方面展现出特别的聪明才智和创新能力，从而非常迅速地跃升至前沿。我认为这在很大程度上改变了我个人对模型层以及模型层潜在早期投资的看法。这里存在很多不确定性，很多依赖变量，而且实际上在六周内，这一切可能都不再成立了。
但如果这种状态成立，即预训练并非因合成数据而扩展，这仅仅意味着你现在可以做得更多，以最少的资金迅速跳到前沿，找到你的用例，找到你最强大的地方，然后从这一点出发，坦率地说，超级巨头会成为最好的朋友。
因为在当今，如果你处于前沿领域，你正在推动一个用例，你不再受到 GPU 的特别限制。特别是如果你打算进行测试时推理、测试时计算之类的工作，并且你为比如说 10 家企业客户提供服务。或者也许这是一个针对特定用例优化的消费解决方案。
计算方面的挑战已经不像2022年那么大了。在 2022 年，你会和这些开发者交流，这就变成了这样一个问题：嗯，你能把十万个集群拼凑在一起吗？因为我们需要进行训练，然后还得去买所有这些数据，即便你知晓所有技术，突然间你一算，就会说，要启动第一次训练运行我得花十亿美元。而这可不是一种可行的模式。
从历史上看，这就是风险投资模式。风险投资模式一直是能否组建一支非凡的团队，实现技术突破，做到资本轻型化，迅速超越现有企业，然后以某种方式获得分销立足点并推进。在过去两年的模式层面，这似乎绝无可能实现。但在过去的六、八周里，这种情况确实发生了改变。
我认为这很重要。关于 Meta 开源以及超大规模公司的开源推动前沿发展，小型模型能够扩展到非常成功的程度，这是极其有益的，特别是对于没有原生大型语言模型的 AWS 来说。但如果你退一步思考一下云计算的历史，就会发现它为开发者和建设者提供了一套工具。AWS 率先清晰地阐述了这一愿景。
9 月份在高盛的一次会议上，马特·加曼公开谈到了此事。但他们的观点显然一直是，大型语言模型只是另一种工具，生成式人工智能是他们能够为其企业客户和开发者客户提供以打造下一代产品的另一种工具。这种愿景面临的风险是一个全能且具有普遍性的暴民。
所以，这再次让你不得不重新思考，如果我们不构建这些大规模的预训练实体，将训练损失降至近乎为零，并以这样或那样的形式构建出那个隐喻中的上帝，那会怎样。
相反，如果行业的重点是在测试阶段、推理阶段，并试图在客户需要的地方解决实际问题，我认为这再次重新设计并重新构建了这项技术如何推出的整个愿景。而且我认为我们需要谦逊，因为我们不知道 LLaMA 4 会是什么样子。我们不知道Grok 3 即将推出。这是目前在有史以来最大的集群上进行训练的两个模型。
所以我们现在所说的一切可能在三个月内都是错的。但我认为，当下的整个工作就是吸收所有可用的信息，并根据我们如今所知重新描绘各种情景路径。如果这是正确的，我觉得人们还没有更新他们对于这些路径可能如何发展的先验判断。
我很好奇，Chetan，对于这种变化，也许现在你会投资一家模式公司，你怎么看。我记得两年前我们一起吃晚餐的时候，你跟我说，作为一家公司，你们刚刚决定不投资这些公司。就像你说的，这不符合我们的模式。我们不会在首次试运行时就开出数十亿美元的支票。
因此，我们不在那部分堆栈上进行投资。我们更多地投资于应用层，在这场讨论中稍后我们会再次回到这个话题。但也许再多谈谈这种关于其如何运作的更新观点，一个示例投资可能是什么样子，以及即使 LLaMA 4 是预训练缩放损失保持不变，这是否会改变，因为这似乎只是像 DeepSeek 那样受益。好的，现在不是 3.2，而是 4，我们仍在做我们的事，而且仍然更好、更便宜、更快等等。
那么，是的，对于这种新观点，即有可能投资于模式公司，而不仅仅是应用公司，你有何看法？
在 Meta 的上一次财报电话会议上，马克·扎克伯格谈到了他们开始开发 LLaMA 4，并表示 LLaMA 4 正在一个比以往他所见过的任何集群都大的集群上进行训练。
所引用的数字表明，它比十万台 H100 还要强大，或者比我所看到的关于其他公司正在做的任何事情都要强大。而且他还说，你知道，较小的 Llama 4 型号应该会在 2025年初准备好。这真的很有趣，因为无论 Llama 4 相对于 Llama 3 是否是阶跃函数，这都不重要，重要的是他们是否突破了效率的界限，达到了即使只是逐步提升的程度，这对开发者群体产生的影响也是相当深远的，因为如今 Llama 的影响力有两个方面，我认为这对 Meta 非常有利，其一。Llama 所使用的 Transformer 架构是一种标准架构，但它有自己的细微差别。
而且，如果构建于 Llama 之上的整个开发者生态系统开始仅仅假定 Llama 3 变换器架构是基础且某种标准的做法，那么这就有点像是将整个堆栈朝着 Llama 的思维方式标准化，从硬件供应商如何支持你的训练运行，到超级巨头等等，不一而足。因此，对 Llama 本身的标准化开始变得越来越普遍。
所以，如果你要创办一家新的模式公司，最终的结果是，如今从 Llama 开始，不仅很棒，因为 Llama 是开源的，而且还极其高效，因为整个生态系统都在采用这种架构。所以你是对的，作为一家拥有 5 亿美元资金的早期基金，我们试图在每个基金周期进行 30 项投资，10 亿美元的试运行基本上意味着你要投入两笔资金来进行一次可能成功也可能不成功的试运行。
因此，这是一项资本高度密集型的业务。顺便说一下，这些模型的折旧时间表令人望而生畏。蒸馏作为一种技术，使得这些模型的防御性和这些模型的注释极其具有挑战性。这实际上归结为你在其之上进行的应用是什么，你的网络效应是什么，你如何在那里获取经济效益等等。
我认为，就目前的情况而言，如果你是一个两到五人的团队，你可以以编程为例，通过在 Llama 的基础上进行微调训练，推动建立一个能更快生成更好编程答案的模型，然后提供一个应用程序，其中包含你自己的定制模型，这确实能为你的客户带来非凡的效果。所以，我们这里的特定方法和策略一直是，从我们看到 OpenAI API 开始流行起的时候起，就大力投资于应用程序。
2022 年夏天，我们开始看到开发者谈论这些 OpenAI API。从那时起，我们的很多努力就是寻找那些考虑利用这些 API 来开拓应用层的企业家，并真正开始思考在当前这波人工智能浪潮之前根本不可能存在哪些应用。
显然，我们已经看到一些非常出色的成功公司从中脱颖而出，它们仍处于早期阶段，但它们所展现出的发展势头、所提供的客户体验、所采用的生物识别技术等等，都非同凡响。几周前，布雷特·泰勒曾在你们的播客节目中，塞拉就是一个这样的例子。在采购方面，我们有一个叫做 Levelpath 的项目。在整个投资组合中，在应用层还有许多其他例子，在那里，你可以审视每一个大型 SaaS 市场，用应用层的投资去开拓它，并开始思考如今哪些是两年、三年、四年前还无法实现的事情。
深入探究基础模型及主要参与者
我很好奇，想稍微谈谈我们谈到的那些大型基础模型参与者，比如 Llama，但不太想谈 xAI、 Anthropic 和 OpenAI，也许还有 Meta。先从你说起，我很好奇你对于它们的战略定位以及每家重要的方面的想法。
也许以 OpenAI 为例，也许这里的关键在于他们打造了一个多么出色的品牌，他们拥有庞大的用户群体，他们有众多出色的合作伙伴，人们知晓并使用他们的产品，有很多人为他们付费，比如 20 美元之类的。也许在这种模式中，分发渠道比产品本身更为重要。
我很好奇你对这三位球员的看法，到目前为止他们占据主导地位，但通过你目前的分析，似乎重要的是他们要不断创新。
所以我认为对 OpenAI 来说有趣的部分在于，他们刚刚完成了最近一轮融资，而且对于投资理由有一些相当公开的评论。没错，很多评论都围绕着这样一个观点，即他们在消费端已经获得了逃逸速度，ChatGPT 现在是认知的参考，随着时间的推移，他们将能够聚集巨大的消费需求端，并据此收取适当的费用，而他们在企业 API 和应用程序构建方面的投入要少得多。
如果你仔细想想我们所谈论的内容，就会发现这超级有趣。
在他们的财务数据中，如果你剔除培训费用，如果你剔除这笔巨大的前期支出需求，按照他们的预测，这实际上很快就会成为一家利润丰厚的公司。所以从某种意义上说，这可能会更好。
那么现在问题变成了，一家不再在前沿领域呈阶跃式推进的公司，其防御能力如何？在这 方面，我认为这最终将归结为一点，谷歌也在前沿推进，而且他们很可能会免费赠送产品，还有 Meta。我认为我们或许可以花一整集来谈论 Meta 以及他们在企业和消费者方面的嵌 入式选择权。但让我们先谈谈消费者方面。
这是一家拥有超过 30 亿消费者接触点的企业。他们显然正在将 Meta AI 应用于各种场景。不难看出，他们应该收购 Perplexity 公司。
但你刚刚还看到司法部站出来表示，谷歌应该被迫授权其索引。我想不出还有谁比 Meta 更有利可图，它有机会以极低的成本承接谷歌的索引。但关键在于，我认为将会有两个大规模的互联网巨头免费提供本质上类似于 ChatGPT 的产品。所以这将是一个引人入胜的案例研究，探讨“这种产品能否在消费者心目中占据主导地位”。
我的孩子们知道 ChatGPT 是什么，他们不知道 Claude 是什么。我的家人知道 ChatGPT 是什么，他们不知道 Grok 是什么。所以我认为对于 OpenAI 来说，问题在于你能否超越免费？如果你能，而且训练成本降低，这将是一家很快就能盈利的公司。
如果你去了解 Anthropic 公司，我认为他们面临着一个有趣的困境，即人们认为 Sonnet 3. 5 可能是现有的最佳模型。他们拥有令人难以置信的技术人才。他们不断吸纳越来越多的 OpenAI 研究人员，我认为他们会构建出出色的模型，但他们有点受困。他们在消费者中的知名度不高。
在企业方面，我认为 Llama 会让前沿的模型构建者很难试图在那里创造巨大的价值。所以他们被困在中间。出色的技术专家，优质的产品，但并非真正可行的策略。而且你看，他们又筹集了 40 亿美元。
对我来说，这表明预训练的扩展效果不太好，因为 40 亿美元远远达不到他们的需求。如果扩展的途径是预训练，那我对他们未来的战略路径就没什么好的判断力了。我认为他们陷入了困境。关于 xAI，我就当不知道了。
他是一位独一无二的人才，他们将拥有一个 20 万芯片集群，并且有一个面向消费者的接触点，他们正在构建一个应用程序编程接口。但我认为，如果预训练是扩展的途径，那么他们将面临与其他所有人相同的数学难题，只不过可能因埃隆独特的筹资能力而有所缓解。
但同样，在接下来的四五年的时间里，数字会迅速变得如此庞大，甚至可能超过他。然后，如果到了测试阶段，计算和算法改进以及推理，它们的差异在哪里，它们的市场切入点在 哪里，当你有人在消费端站稳脚跟，而企业端又有一个同样强大的开源实体时，情况会怎样？
所以当你审视这三者时，我认为最容易看清的是 OpenAI 未来的发展方向是什么。
不过，关于 OpenAI，我要说的是诺姆·布朗，我发现他是研究领域最出色的沟通者之一。他最近上了红杉资本的播客节目，当被问及通用人工智能时，他说，你看，我觉得我在 OpenAI 之外的时候，对整个通用人工智能的事情持怀疑态度。但实际上这是他们所关注的。
当我进入 OpenAI 工作时，我非常清楚他们对于通用人工智能非常认真，这是他们的使命，其他一切都服务于 AGI。我们很容易坐在外面，清晰地阐述如果我们负责那里可能会采取的策略，但我认为我们需要意识到这样一个事实，即他们之所以能走到今天这一步，部分原因在于他们肩负着使命。
该任务是开发通用人工智能，对于为其设定任何其他最终目标，我们都应该非常谨慎。
而我个人的看法是，通用人工智能已经非常接近实现了。
再多说几句。那为什么它还没到这儿？这些东西比我打交道的大多数人都聪明。
是的，我想是这样。狭义定义的人工通用智能，或者也许是从广义定义的角度来看，这取决于你的观点，是一个高度自主的系统，在某些情况下在某些具有经济价值的工作中超越了人类的表现。用这种视角很容易说 AGI 已经存在。我认为非常明确的是，如果你看看 OpenAI 发布的公告以及他们高管在最近几周接受的，其中一个例子是端到端的旅行预订，这是我们可以期待在 2025 年看到的东西，在那里你可以提示系统为你预订旅行，然后它就会去做。
这是一种新的思维方式，即端到端的任务完成或端到端的工作完成。这显然涉及推理，涉及自主工作，涉及使用计算机，正如克劳德所阐述的那样。而且你正在将这些大型语言模型与生态系统本身相互作用的多种方式结合起来，将其放入一个非常出色的组合中，从而能够完成端到端的工作，并使其完全自动化，做得比人类更好。在我看来，从这个角度来看，我们已经非常非常接近了。
而且我设想，到 2025 年，我们将非常接近或达到通用人工智能的水平。鉴于当前的进展和创新，再加上现在转向测试时的计算和推理，从这个角度来看，通用人工智能即将到来。
这很有趣，因为我们有点像在水里煮的青蛙，我们相当轻松地通过了图灵测试，然而再也没有人坐在这里谈论，天哪，我们通过了图灵测试。它来了又过去了。所以，也许通用人工智能的宣告也是同样的道理，就像，是的，当然模型能够预订端到端的旅行。这实际上没那么难。
然而，两年半以前，如果你说：“嘿，有一种算法，你可以告诉它你想做什么，它会从头到尾安排好并给你发送一张收据。”你会说，
“没门儿。”所以这可能有点像煮青蛙，突然有一天你醒来，一个实验室说：“嘿，我们实现了通用人工智能。”大家可能有点像，“啊，酷。”不过，实验室宣布实现通用人工智能在更广泛的意义上有趣，有一个特别的原因，那就是与微软的关系。微软去年夏天首次披露，在通用人工智能实现之前，他们拥有 OpenAI 知识产权的全部权利。
所以，如果 OpenAI 选择宣称已实现通用人工智能，我认为这将在他们和微软之间引发一种非常有趣的动态，这将加剧当前已经在发挥作用的、本就非常有趣的动态。所以，这在明年肯定是值得关注的，不仅对公开市场的投资者而言是如此，对更广泛的生态系统的影响也是如此。因为我再次认为，如果我们现在所走的道路是正确的，那么随着我们向前推进，关系和商业伙伴关系将会有很多重新洗牌。
Chetan，Modest对大公司的评估中还有其他内容吗？而且鉴于我们没有特别谈到谷歌，我们很希望听听你对谷歌的看法。有没有他说的话你不同意或者想要进一步追问的？
不，我认为我们只是不知道的是，我们不知道所有这些房间里进行的潜在讨论，我们可以推测并了解我们可能会怎么做。但我认为，归根结底，每一家互联网企业或科技企业最终都归结为以下两种情况。
在消费者方面，分销随后与某种网络效应和锁定效应相结合，然后你就能凭借这一点脱颖而出，在竞争中占据优势。而在企业方面，这在很大程度上是一种由技术差异化以及以出色的服务级别协议、优质的服务以及非常独特的解决方案交付方法所驱动的业务。所以，Modest对消费者的评论以及消费者将如何演变。
我认为这完全正确。Meta、谷歌和 XAI 都有面向消费者的接触点。OpenAI 如今拥有出色的品牌，凭借 ChatGPT 以及大量的消费者接触点。在企业方面，挑战在于这些 API 迄今在很大程度上都不如开发者所期望的那样可靠。
由于超大规模云服务提供商出色的工作，开发人员已经习惯，如果你为一款产品提供 API，那么这款产品应该是无限可扩展的，全天候可用的，API 失效的唯一原因是某个大型数据 中心停电之类的原因。很少有理由让 API 失效。这已成为开发人员对企业解决方案的思维模式。在过去的两年里，AI API 的质量对应用程序开发人员来说是一个巨大的挑战。
因此，最终的结果是人们已经找到了变通方法，并通过纯粹的创新解决了所有这些问题。但在这方面继续推进，我们再次回到这一点上。如果预先训练和扩展不是解决之道，而完全取决于测试时的计算能力，这就是我们再次回到超大规模运营商传统方式的地方。我认为在这方面，AWS 具有极大的优势，因为 Azure 和 Google 都有出色的云服务，但 AWS拥有最大的云。
它确实以一种非常独特的方式构建了弹性。即使在今天，如果你运行 LLaMA 模型，你会希望在 AWS 上运行 LLaMA 模型，或者由于某些原因，如果你有一些非常特定的用例并且需要为本地客户提供支持，你也可以
在那些监管环境复杂或存在合规原因的大型金融机构中，如果你愿意，你可以在本地运行这些模型。
而且，AWS 甚至已经在这方面有所行动，比如 VPC、GovCloud 以及诸如此类的东西。所以，如果我们假设预训练和扩展工作已经完成，那么突然之间， AWS 就会变得极其强大，在过去几年里，他们的策略就是与开发者生态系统中的所有人交朋友，而不是自行开展大型语言模型的工作。
嗯，他们正在推进，但并非以与其他公司相同的方式推进，这最终很可能会成为一个相当不错的策略，因为突然间你就拥有了最好的 API 服务。我认为另一部分是谷歌，我们还没谈论到它，他们的云在某些方面非常出色。所以他们有企业业务。如果你看看最新的收益报告，会发现他们的企业业务实际上已经相当大规模了。显然，他们的消费业务占主导地位，而且一直有一种看法认为他们如今受到了冲击。
我认为这些力量对他们极具破坏性。但目前尚不清楚这种破坏是否已经发生。他们对此采取了什么行动？显然他们正在努力尝试，而且很明显他们正在非常努力地尝试。
但我认为这是一件值得关注的事情，也是我喜欢的那种，因为这是典型的创新者困境。显然，作为现有企业，他们正努力站在不被创新者取代的有利一边。他们非常努力。所以在商业史上，现有企业成功阻止创新者攻击的情况非常少见。
而且如果他们在这个时代确实捍卫了自己的业务，那将是一项非凡的成就。
是的，谷歌非常引人入胜，因为曾有一位出色的卖方分析师卡洛斯·基尔吉纳，不幸的是，他去世了。但在 2015 年和 2016 年，他花了大量报告来写谷歌在人工智能方面的进展，以及他们在 DeepMind 所做的基础工作，实际上他非常喜欢这些工作，最终去了谷歌工作，但首先揭示了他们在神经网络和深度学习方面所做的基础工作这一想法。
显然，他们被这种大规模的暴力扩展所震惊，推动这波技术的是实实在在地在计算上投入。但如果你阅读过任何对那些预见到这堵数据墙的人的，他们谈到的其中一点是，自我对弈可能是克服数据不足的一种模式。而谁比 DeepMind 更擅长自我对弈呢？
如果你审视一下 DeepMind 在 Transformer 出现之前所拥有的成果，以及他们将 Transformer 与计算能力的扩展相结合所取得的成果，似乎他们已经具备了所有能取胜的条件。但我一直以来提出的问题都不是谷歌能否在人工智能领域取胜？而是，无论取胜是什么样子，它是否有可能重现当前范例中取胜时的辉煌？这才是真正的问题所在。
正如Chetan所说，如果他们能克服困境并取得胜利，那将会令人惊叹，但我认为他们具备这样的条件。真正的问题在于，他们能否凭借现有的资产打造出一家企业，这家企业在任何方面都能像可以说是我们所见过的最伟大的商业模式——互联网那样出色。所以我同样很期待关注他们。我认为在企业方面，他们拥有令人难以置信的模式和资产。
我认为他们需要赢得很多信任。我觉得随着时间的推移，他们在那个世界里起起落落，所以我认为这对他们来说是一个更难突破的方面。但在消费者方面，当然在模型构建方面，他们已经具备了所有获胜的条件。
问题在于，那个奖项究竟是什么样子？尤其是现在，如果看起来似乎不存在一两个能称霸的模型。
Chetan，我很好奇，作为一名寻求回报的投资者，你个人希望走什么样的道路？
我个人希望人工智能能持续很长时间。作为一名风险投资者，你需要巨大的颠覆来解锁分销。如果你看看互联网或移动领域所发生的情况，以及价值在哪里产生，在这两波浪潮中，价值主要在应用层产生。显然，我们的假设，也是我的假设，是这一层由于人工智能应用层的创新，将再次非常有利于分销的解锁。我认为到目前为止这在很大程度上已经显现出来了。虽然仍处于早期阶段，但那些推出面向消费者和企业的人工智能应用产品的供应商发现，这些解决方案之所以能够存在，完全是因为人工智能。它们正在以一种坦率地说在软件即服务或面向专业消费者的 SaaS 等领域无法实现的方式解锁分销渠道。
我们将给你一个非常具体的例子，一个由人工智能驱动的应用程序。我们现在正向500 强企业的首席信息官展示这些演示。两年前，确实有一些不错的演示。如今，这是一个非常出色的演示，同时还结合了五个客户参考案例，这些客户都是同行，他们在生产中使用了它，并取得了巨大的成功。在那次交流中，有一点变得非常清晰，那就是我们所展示的并非是对现有 SaaS 解决方案的 5%的改进。而是关于我们能够大幅削减软件支出和人力资本支出，并将其转移到这个人工智能解决方案上。而且你对软件的 10 倍传统投资回报率的定义很容易被认可，人们能在 30 分钟内理解。
于是你开始看到，过去软件即服务和人工智能应用通常有着非常漫长的销售周期，而现在 15 分钟就能做出决定，30 分钟就能做出决定。而且对于企业来说，采购流程完全不稳定。现在首席信息官会说类似这样的话：“咱们尽快把这个搞定。”我们打算进行为期 30 天的试点。一旦成功，我们就会签订合同并立即部署。这些情况在三年、四年前的软件即服务领域是完全不可能的，因为当时你是在与老牌企业竞争，在与他们的分销优势、服务优势以及所有这类东西竞争。而且很难证明你的特定产品是独特的。
所以，自 2022 年以来，我可以说自 2022 年 11 月的 ChatGPT 以来，这在这个世界上似乎是一个非常好的前后界限。我们已经对人工智能公司进行了 25 项投资，对于一个由五个合作伙伴组成的 5 亿美元基金来说，这是一个非凡的速度。上次我们达到这种速度是在 2009 年 App Store 推出的时候。然后，我们再次达到这种速度是在 1995 年、1996 年的互联网时期。在这两者之间，你们可以看到我们的投资步伐相当缓慢。
在非颠覆性时期，我们平均每年大概投资五到七次。显然，现在我们的投资步伐大幅加快。如果你看看这 25 家公司，其中四家是基础设施公司，其余的是应用公司。而且我们刚刚投资了我们的第一家模式公司，不过这还没有公布。
但这是两个人，两个非凡的、才华横溢的人，他们带着很少的资金就投身于前沿领域。所以，我们显然已经押注并预料到，在应用层会有巨大的创新和分发解锁。我们已经看到这种情况正在发生。作为软件投资者，这些产品确实令人惊叹。
它们需要对这些事物的架构方式进行彻底的重新思考，从第一性原理出发。你需要统一的数据层，需要新的基础设施，需要新的用户界面以及诸如此类的东西。显然，初创企业相对于老牌软件供应商具有显著的优势。这并不是说老牌软件供应商停滞不前，只是如今在企业软件领域，创新者的窘境比在消费领域更激烈地在我们眼前上演。
我认为在消费领域，消费者参与者已经意识到了这一点，正在推动变革，并正在采取行动。然而，我认为在企业领域，即便你意识到了这一点，即便你有采取行动的愿望，解决方案的构建方式也无法响应大幅的重组架构。那么，我们能看到这种情况发生吗？一家大型 SaaS 公司会暂停销售两年，然后彻底重新架构其应用堆栈吗？
当然，但我就是觉得这不会发生。所以，如果你看看关于人工智能软件支出正在发生什么的任何分析，比如仅纯支出在 2023 年和 2024 年之间同比增长了 8 倍。在短短一年的
时间里，就从几亿美元增长到了远远超过 10 亿美元。你可以看到这种拉动，你能感受到这种拉动。
如果你身处这些人工智能应用公司中的任何一家，会发现这类公司更多地是受供应限制而非需求限制。我们与这些应用公司的首席执行官交流，他们只是会说类似这样的话：“嗯，就我所能看到的情况，我看到了需求。”我只是没有能力为所有对我表示同意的人提供服务。所以我打算对其进行细分，然后到他们所在的地方去。
作为一名投资者，我所希望的是这种情况能持续下去，我们能保持稳定，从而专注于这些方面。坦率地说，模型层的稳定对于应用层来说是一个巨大的福音，主要是因为作为应用开发者，你坐在那里看着模型层每年都实现阶跃式的飞跃。
而且你在某种程度上不知道该构建什么，也不知道哪些是应该等待构建的，因为显然你希望它与模型层完全一致，因为模型层现在正转向推理。这对于应用程序开发人员来说是一个很好的地方。
作为应用程序开发者，你知道的一件事是人类是没有耐心的。因此，你需要始终构建在性能和质量方面优化的解决方案。作为应用程序开发者，你不能对用户说，比如，我打算提供一个高质量的响应。
这只是需要更长的时间。这并不是一个有说服力的论点。现在，对于某些用途在那些情况下，这可行吗？你能让它在后台运行 24 小时吗？当然可以。
但这些用例并不普遍且占主导地位，人们也不太愿意购买这类东西。所以，如果作为应用程序开发者，在过去几周里，我所有的董事会会议都是这些公司说，在这种新的推理模式下，我们非常有信心投资于这四件事，而在过去的一年半里，我们一直对这些投资非常犹豫，但现在我们要全力押注，我们的系统将会带来巨大的性能提升。
抱歉，为什么会是这样？为什么推理这件事会让他们的自信心增强，就像把原因解释清楚一样？
嗯，如果你是一个应用程序开发者，你正在审视当今的模型，并且说道：“我能清楚地看到我的用例能从中获得效率，但我得在这五个基础设施层面的东西以及这些用户界面的东西上投资。但如果一种新模型在六个月内出现，仅仅因为模型本身就能做到这一点，就把所有那些投资都打水漂了，那我为什么还要在这些东西上投资呢？”
我只是打算等待模型来完成，然后以此为依据。但在这个推理范例中，如果所有实验室都追求推理，而推理是 y 轴上的智力，时间是 x 轴，这就是我们的发展方向，那么我在自己的工具中所做的任何改进，无论是由于我以算法方式提供推理的方式，还是我能够获取数据并进行处理等等这类事情，使得推理时间大幅缩短，我都应该现在就投资。
如果推理现在是新的范例，而在应用层针对这些推理模型进行最后一英里的交付意味着我正在构建技术和使用工具，而这些是模型公司极不可能构建的。随着这些推理系统不断改进，我的最后一英里优势和最后一英里交付系统仍然具有优势和可防御性。
除了编程和客户服务之外，你们俩还有其他最喜欢的例子吗？这两者似乎是众多公司追捧的主要且令人难以置信的令人兴奋和酷的用例。你们还有其他最喜欢的例子能适合杂志任何一家公司的首席信息官说“我们现在公司就需要这个”吗？
Chetan爱他的所有孩子，所以他无法给你具体的例子。
我可以给你 20 个。
也许像“明确地”这类表述是我的问题所在。这里有编码，本质上还有自上而下的支持。
看看企业软件方面的最大支出，你可以用一个人工智能驱动、以人工智能为先的解决方案来应对。所以我们有一家很棒的公司叫 11X，它致力于销售自动化。我们还有一家很棒的公司叫 Leya，律师们正在用它来大幅提高工作效率。我认为法律一直是一个非常有趣的问题，因为人们认为律师是按计费工时工作的。
如果你正在对计费工时进行自动化处理，难道其经济效益不会改变吗？嗯，如今，两年过去了，有证据表明，律师通过使用人工智能最终盈利大幅增加。原因在于，很多原本是机械性的、重复性的、困难的工作，过去是由律师事务所内部的初级人员完成的，反正律师事务所也无法对这些工作计费。所以，如果你能将文件分析的时间从三四天缩短到 24 小时，突然间你就把所有律师解放出来，让他们去做所有能计费的战略性工作，以及那些对客户极具价值的工作。
举个例子，我们有一家正在实现会计自动化以及财务建模的公司。我们有一家正在改变游戏开发运作方式的公司。有人正在涉足电路板设计领域，这原本是一项极其人工化且耗费大量人力的事情，而计算机系统在这方面尤其擅长。最近，我们还投资了一个针对广告网络的项目。
这在初创企业中已经是很久未被触及的事情了，但事实证明，在人工智能世界中，将拥有库存的人和想要做广告的人进行匹配，效率要高得多。所以我们投资了一家拥有新文档处理模式的公司，他们正在冲击 OpenText。初创企业上次考虑 OpenText 是什么时候？已经很久了，在这些巨大的现有 SaaS 市场被认为对新初创企业开放之前，已经过了很长时间。
所以你必须追求更具利基性、更具垂直性的业务。我常开玩笑说，比如，我看到过这个，这是在东欧工作的现场工作人员的工资单。这是一家 SaaS 公司，在 2019 年你确实得考虑它。而现在，我们又回到了大片的横向支出，比如，嘿，这里有一个现有的企业，价值超过 100 亿美元，这里的市场每年的支出是 100 亿美元。
人工智能能让这里的产品轻松地变得更好 10 倍、更快，以及具备所有用户期望的特性。而要获得这种优势，就需要一个新的平台。这就是这个平台的意义所在。
Patrick，在一开始你就问到了关于投资回报率、资本支出以及所有这些的大辩论，当你聆听奇普的言论，当你聆听应用层的其他投资者的言论，当你聆听超大规模企业的言论时，过去三个月最重要的收获是，用例正在涌现。没错，大家都知道编程，大家都知道客户支持，但这确实开始渗透，并融入更广泛的生态系统中。而且收入正在成为现实。关于投资回报率的问题，挑战始终在于，好吧，你把资金投入这里，然后在投资期限内对其进行摊销，但与此同时，你又在为下一个模型投入下一笔资金。
因此，每个人都可以做出这些推断并说：“哦，天哪，这不只是微软在 2025 年将投入850 亿美元的现金资本支出，而是这对 26 年、27 年、28 年意味着什么？”因为预训练模型变得如此庞大，如果……而且，这又是一个假设，即我们趋于平稳，并且在预训练上花费的资金减少，将资金转向推理。我们知道这笔支出即将到来，我们知道客户的收入
因此，说这笔支出是合理的就变得容易得多了。我认为重要的是，人们要记住这些公司潜在的阴云，这意味着仅仅是常规的存储和计算仍在以两位数的高位增长。所以，有一些资金需要分配到这方面。当你是一家业务增长 18%的千亿美元企业时，你是一家业务增长 25%的 600 亿美元企业。
这是六、九个月前大家都非常担忧的增量资本。我个人从第三季度的数据中得出的看法是，好的，我明白了，这里有应用场景。推理正在进行。技术正在发挥其应有的作用。
推理的成本在骤降，利用率在飙升。把这两者结合起来，你会得到一个不断增长的可观收入，一切都很好。萨蒂亚·纳德拉谈到了这一点。问题在于，你为模型投入了资金，在推理方面得到了回报，但随后我们又在为下一个模型投入资金。
如果我们能够开始说，嘿，也许我们不会在接下来的 500 亿美元上投入这个模型，那么投资回报率的计算看起来就会好得多。关于你问杰森的一个问题，即为什么模型层的稳定性很重要？我认为萨姆·阿尔特曼给出了正确的答案，那是六个月前，他在一个播客中说，如果你害怕我们的下一个模型发布，我们会把你碾过。如果你期待着我们的下一个模型推出，那么你就处于有利地位。
嗯，如果实际情况是下一个模型将在推理时使用，而非重新训练，那么你可能就不必太担心它们会失控。所以我认为，帕特，我们在这里谈论的所有内容都非常有利于整个生态系统形成有利的经济现实，这就是所有注意力资本都投入到推理上的原因。真正令人担忧的是，我们是否需要花费 500 亿、1000 亿、2000 亿美元来在预训练中构建这些更精确的模型？
一级市场估值向我们揭示了什么
在哪些地方，价格最能反映极度的乐观情绪或炒作？当然，我确实见过相当多的私募市场公司，比如说 A 轮类型的公司，它们的估值极高。它们往往是令人难以置信的团队，非常令人兴奋，但它们所在的领域，如果某样东西行得通，你可以想象会有很多其他非常聪明的投资者为一些竞争对手提供资金。所以你会看到这些情况，比如很棒的团队、高价格、高潜力的竞争，非常令人兴奋，一切都发展迅速。
我很好奇，你们俩现在从估值和市盈率中读出了哪些信号。
在私人市场中，正在发生的事情之一就是计算价格的急剧下降，无论是推理还是训练等等，因为计算变得更容易获取了。如果你今天作为应用程序开发者坐在这里，与两年前相比， 这些模型的推理成本下降了一百倍、两百倍。坦率地说，这太离谱了。你从未见过成本曲线如此陡峭、下降得如此之快。
这是基于 15 年的云成本曲线得出的结论，这些成本曲线本身就已经令人惊叹和难以置信了。人工智能的成本曲线则完全处于一个不同的水平。我们之前看看我们在 2022 年资助的第一波应用公司的成本曲线。你看推理成本，在最新的前沿模型中，每百万代币大约是 15 到 20 美元。
而如今，大多数公司甚至都不会考虑推理成本，因为就像，嗯，我们把这项任务分解了，然后我们针对这些相当基础的任务使用这些小型模型，而我们最前沿的模型所处理的大 多是这极少数的提示。其余的部分，我们只是创建了这个智能路由系统。所以我们的推理成本基本上为零。而这项任务的毛利率为 95%。
你只要看看这个，就会觉得，哇，思考应用增长利润率的方式与我们在过去十年多时间里针对 SaaS 以及基本上针对软件所做的完全不同。所以我认为，这就是你开始着眼于并思考的地方，即这些新的人工智能应用的整个应用堆栈。这要从提供推理的人员开始。要从工具和编排层开始。
所以我们有一家非常受欢迎的投资组合公司，叫做 LangChain，还有推理层，我们有 Fireworks。这类公司正被开发者大量使用。然后一直向上，到应用程序本身。我认为仅仅是创新的速度、商业成功的速度，就令私人投资者兴奋不已。
模型稳定性还有吸引人的地方在于，现在我们终于可以假定，如果这行得通，那么所有这些公司都将相当节省资金。因为如果你不必在预训练上花费大量资金，如果你不必在推理上花费大量资金，因为大多数超大规模公司现在都会以这样的成本为你提供非常可靠的 API。现在是从事应用开发业务的好时机，也是处于应用开发堆栈的好时机。
Modest，你对估值有什么看法？
我认为，总体而言，你得从动物精神说起。如果你回到 ChatGPT 发布的前一周，也就是 2022 年秋季，科技行业可能刚刚经历了自互联网泡沫破裂以来最残酷的熊市。可以说，对于中位数的科技股而言，情况甚至比金融危机还要糟糕。一些规模非常大的成长型基金下跌了 60%、70%。
你曾目睹超级巨头首次裁员。你曾目睹资本支出削减，运营支出削减。整个科技界乃至公开市场都弥漫着一种截然不同的氛围。ChatGPT 的发布促使冒险精神再度兴起，这是一个渐进的过程。
所以我认为，总体而言，公共市场存在大量的乐观情绪，其中很多都与这样一个主题相关：我们正处于一个新平台时代，对于许多不同的新概念，天空才是极限。所以，如果我们是对的，就存在这种全球性的悬而未决的情况。我认为，这归根结底是要理解，如果资本性支出和超大规模运营商的运营成本与收入生成联系得更加紧密，那么未来的新路径会是什么样子。如果你听亚马逊网络服务，他们说的有趣的事情之一是，他们称 AWS 是一家物流企业。
我认为外界没有人会审视云计算并说，哦，是的，那是一个物流业务。但他们的观点本质上是，他们必须做的是预测需求，并且必须在多年基础上建立供应以满足需求。
而且在过去的 20 多年里，他们在过去两年所发生的事情上变得极其出色。上次我就谈到，需求大幅增长，冲击了缺乏弹性的供应，因为你无法在三个星期内增加数据中心的容量。所以，如果能回到一种更具可预测性的需求节奏，让他们能够审视并说，好的，我们现在知道收入的
这来自测试阶段，来自Chetan及其公司推出的产品。现在我们知道如何将供应与之匹配。现在又回到了物流业务上。现在不是要把国内每一个闲置的核电站都找出来并试图让其投入运营。
所以，我认为这并非是一种掠夺土地的行为，而是以一种更合理、明智、有条理的方式来进行。实际上，我猜如果这条路是正确的，那么这种推断会比我们想象中更快地超越训练，其效果会比我们可能预想的更大。
但我认为，在网络设计中，这方面的路径将会看起来大不相同，并且对于那些构建网络、为网络提供动力以及通过网络传输光信号的人来说，将会产生非常重大的影响。而所有这一切，我认为，在很大一部分公开市场的概率加权分布中，实际上尚未真正开始显现。
而且你看，我认为大多数人过度关注英伟达，因为他们算是这方面的典型代表，但英伟达下游有很多人可能会遭受更大的损失，因为他们的业务较差。英伟达是一家出色的企业，做着出色的事情。他们只是碰巧实现了盈余的大幅增长。我认为这带来的影响远远超出了谁在制造最前沿的 GPU，尽管我确实认为，这种新的测试时间计算范例是否能让芯片层面的定制化程度大大提高，这会存在疑问，也就是说，如果我们只是基于预训练进行扩展，是否能实现更高的定制化程度。
但我认为，无论何时在正常对话中遇到这个问题，人们都过度关注英伟达。我觉得人们喜欢争论那个特定的名字，但我认为在人工智能构建的众多衍生应用中，结果的分布已经发生了变化，而这尚未得到体现。
我只是认为，在测试期间以及从应用层的推理范例中思考这个问题是非常重要的，即你的提示中有多少实际上将推理作为回应这些提示的一种方式。而且，没错，随着这项技术变得更加可用和易用，应用程序开发人员对其的使用会比现在多得多。
但是，如果你只是看看当前的技术，以及已经从应用层获得的惊叹之处，那么会有多少百分比的提示或查询会使用推理呢？很难随便估计一下就说会有 90%的查询会使用推理。
这似乎不会是那样的，因为再说一次，你的用户是不会等待的。人类天生就没耐心，而你有一个解决方案，只是空转着，还以为你的用户已经走了。不管他们处于哪个领域，他们都走了。所以，没错，可能会有某些特定任务需要很长时间才能完成，并且能实现高精度。
但到目前为止，速度是这些应用程序开发者最重要的考虑因素。那么，我们是否会拥有一个系统，不断回溯、反复利用所有这些计算能力，而在哪些市场份额的查询中使用这些能力呢？很难想象这会是绝大多数的查询。那么，至少从私人市场、早期投资者的角度来看，这意味着什么？除了我自己的领域，我很难想象这会对其他任何东西产生什么影响。
但这其中的含义仅仅是，你在训练时所需的计算量远不如训练时那么多。训练只是一项持续的工作。你在不断扩展，并且一直在充分发挥所有的计算能力，只是在应用层进行，这极其突兀。你会有一些任务需要立即大量处理，而很多时候你其实并不需要那么多。
因此，这再次证明了超级巨头以及像 EC2 和 S3 这样的服务是多么出色。在这个新世界中，超级巨头提供的解决方案确实非常棒。我认为亚马逊的培训以及谷歌的 TPUs确实非常出色，它们为开发者提供了绝佳的体验。我认为对于应用程序开发者来说，众所周知的部分情况是，在这个用例中，使用 GPU 确实非常困难。
要让连接在一起的 GPU 实现最大利用率，无论你是从戴尔购买还是从超大规模运营商购买，都真的很难使用。但随着新的软件创新，这显然会得到改善。而且超大规模运营商自身推出的产品，真的非常非常棒，在进行测试阶段的计算时，你根本不需要像训练时那样大力投入。
我认为这在 GPU 的利用方面是一个非常重要的点。如果你考虑一项训练任务，你试图在很长一段时间内以尽可能高的百分比利用它们。所以你试图在一个地方放置 50 万、100 万个芯片，并以尽可能高的速率利用它们长达九个月。剩下的是一个十万个芯片的集群，如果你要将其重新用于推理，可以说这不是最有效的构建，因为推理是峰值和突发性的，而不是持续的。
所以这就是我正在谈论的，我只是认为从第一性原理出发，你将重新思考你希望如何构建基础设施，以服务于一个比训练更侧重于推理的世界。詹森已经谈到了英伟达的美妙之处，即你留下了这种现成的基础设施，随后就可以加以利用。
在这个沉没成本的世界里，你可能会说，当然，如果我被迫建造一个包含一百万个芯片的超级集群来训练一个价值五百亿美元的模型，那我完成后当然可以把这个资产当作汗水挥洒掉。但从第一性原理来看，显然，你绝不会为了满足Chetan所谈论的那种需求，而建造一个功率达 2.5 吉瓦的 35 万个芯片的集群。
因此，如果你最终拥有低延迟和高效率的更多边缘计算，这对光网络意味着什么？对电网意味着什么？对现场电力需求与从当地公用事业获取电力的能力意味着什么？我认为这些是我非常有兴趣阅读的问题类型。
但到目前为止，很多分析仍然集中在我们点燃三里岛时会发生什么，因为新的模式确实还为时尚早。
半导体领域仍需创新之处
你认为，尽管在半导体领域会有大量的创新，但我们是否仍然需要并且将会看到这些创新呢？无论是网络方面，无论是光学方面，还是芯片本身，不同类型的芯片。
我想这会进一步加速这一进程，因为很难预见一个在训练中就采用大规模绿色能源的世界。在我看来，数百年来，先是出现淘金热、圈地热，每个人都只顾着眼前。但在技术领域，随着一些稳定性的形成，会进入一个优化期。在推理方面，你们已经经历了这样一个时期。
Chetan所指的是，人们有时间优化计算机中的底层算法，推理错误率下降了 99%。这与互联网泡沫末期互联网传输的情况相同，当时人们说，不，你绝不可能在线播放电影。你知道这要花多少钱吗？而传输成本在 20 年里每年都像钟表一样准时下降 25%。
该业务的实际利润池在 20 年内保持不变。所以我认为，我们经历了这种疯狂的需求激增，而且我觉得，如果我们能稍微稳定下来，让每个人都能喘口气，就会有两个人在车库里对一切可能优化的方面进行优化。从长期来看，这就是技术的魅力所在，它是通货紧缩的，因为这是一个优化问题，但在疯狂抢占市场的时候，你就没时间优化了。上次我跟你说过这话。
数据中心行业，它们在电力方面是中性的。整个数据中心业务对电力的需求增长在五年内都没有增长。这是因为当时处于云数据中心建设的完全成熟阶段。我不知道你们何时会达到那个阶段。
我的意思是，我们知道这些至少在 2026 年或 2027 年之前还有三四年时间的人，会全力以赴地进行建设。
在什么时候，每个人都会有时间深吸一口气并说，好的，现在让我们想办法如何更高效地运行这些？这就是事物的本质。在计算方面也是如此。我只是认为，我们还没有达到技术人员能够应用他们的优化的程度。他们一直在进行实施。
我会给你们提供几个我这边的一些数据点。我的合作伙伴埃里克是一家出色的半导体公司 Cerebras 的董事会成员，他们最近宣布，Cerebras 的 Llama 3.1 能够每秒生成超过 4050亿个推理结果，每秒能生成 900 多个令牌，这是一个数量级的大幅增长。我认为，举例来说，这比 GPU 的推理速度快 70 到 75 倍。所以，当我们进入推理世界、半导体层、网络层等等，初创企业有大量的机会真正使自己与众不同。
然后我要提出的第二件事是，我最近刚和一家大型金融服务机构的首席信息官交谈过，他说在过去两年里，他们预先购买了很多图形处理器，因为他们认为会有很多人工智能应用。
工作负载，谁知道他们自己是不是需要做些培训。所以这些系统现在正被安装到他们的数据中心，并且已经上线，在这个世界里，你不需要自己创建模型。即使你创建了，也只是对开源模型进行微调。这没那么复杂。
所以他的观点是，你看，如果你有人工智能应用程序在本地运行，那基本上是免费的。我有所有这些容量，我根本没用它来做任何事。推理很轻量，所以目前我有无限的容量在本地运行人工智能应用程序，而且这不会让我增加任何边际成本，因为所有这些东西都已启动并运行，而我根本没用它来做任何事，所以我准备购买。
所以，不仅你所谈论的所有这些应用事物令人极其兴奋，因为它们能释放投资回报率以及所有相关的东西，而且一旦你能在我们的设备上运行其中任何东西，这会极大地降低我们的成本。
所以，当你拥有这样的东西时，到处都是赢赢赢的局面。这就是当前的状况。那么，这种产能过剩会持续多久呢？应用程序开发者以充分利用所有容量并突破极限而闻名，突然之间，曾经过剩的容量最终会变成不足的容量，因为突然之间，我们进行了广泛的建设，然后决定在上面传输。
当然，人工智能应用会变得愈发复杂，并消耗掉所有这些容量。但从投资的角度来看，这是一个更具可预测性、更理智的世界，而不是在预训练的情况下无限扩展。
我好奇并想要关注的一件事是：重要的是要记住，报告并不是说模型没有在改进——而是说模型相对于预期或者应用于它们的计算量而言没有改进。所以我认为，我们确实需要谨慎地得出实验室不会继续努力去破解难题的结论。
在预训练方面，我认为问题在于，其一，我们应该寻找什么？但其次，如果他们继续沿着那个方向推进，我们是否相信，而这一直是我苦苦思索的问题，即如果在预训练中缩放定律成立，人们是否愿意花费 1000 亿美元？
而且我知道，人人都说如果你是为了终极大奖而战，你肯定会这么做，但是已经有足够多的质疑声音出现，即单纯的暴力破解式预训练就是通向终极解锁的途径吗？还是说现在是预训练、后训练和测试时计算的某种组合？在这种情况下，同样，我认为世界上的情况只是，从数学角度来看要合理得多。而且我看到了很多评论，说人们宣称人工智能的发展已经终结等等。
希望今天能从中得到的启示是，我认为那些真正深入研究这个问题的人不会这么说。人们会说人工智能正在全速推进。我认为问题在于进步的轴心究竟是什么。在我看来，从我的角度来看，这种说法似乎更合情合理。
走这条道路似乎要合理得多，而不是预先花费任何可能的金额来建造这个假设的上帝。所以我认为，如果我们最终走上这条路，这会是一个好得多的结果。
我很好奇你认为在整个事件中，如果有的话，最缺乏讨论的部分是什么。有没有什么事情你发现自己思考得比从朋友和同事那里听到的讨论要多得多？
在公共投资者方面，仅仅阅读卖方报告，而我们看到的是卖方报告或分析，即关于这种新的测试时间计算范例意味着什么以及情况如何变化的内容。所以我真的期待着关于这种新范例转变的更多卖方分析。我认为在私募市场中的
我认为，与这些企业家会面的人们所了解到的是，这些企业家如今在前沿领域的投入是多么高效。而这是最近才发生的转变。你会看到人们只需投入不到一百万美元，就能在特定的用例中，而非广泛地，与前沿模型在性能上相媲美。而这是两年前甚至一年前我们都未曾见到的。
预先训练是对资本主义的一次重大考验。如果我们沿着这条道路走下去，我觉得从微观经济背景去分析将会发生什么要好得多，因为你不必考虑上帝的内在价值。我只是觉得，就我期待阅读和听到的内容而言，这要好得多。是的，我倒是希望看到有思想的内部分析师真正努力应对......
目前我觉得这有点防御性的意味。人们在为规模未扩大而只是转移这一事实进行辩护。这固然不错。但现在我们得研究一下二阶效应、三阶效应。
那么这究竟是如何体现的呢？我认为这对整个生态系统、整个经济非常有利。但我认为，会有很多盈余从之前看似赢家的地方转移出来，而那些看似输家的地方则会出现大量盈 余。
在接下来的六个月里，什么样的结果会让你感到最迷茫？
嗯，从积极的方面来说，有两个引人注目的例子：如果有人拿出成果，表明预训练又重新流行起来，并且在合成数据方面取得了巨大突破，突然之间，事情就启动了，再次启动。价值十亿美元和一百亿美元的集群又会回到谈判桌上。你会回去，但突然之间，范式转变会非常惊人。突然之间，我们现在会谈论一个价值一千亿美元的超级集群，它要进行预训练。
那么很显然，如果我的预期成真，即明年我们将实现通用人工智能，我们将拥有通用人工智能，而且我们正在建造一个价值一千亿美元的集群，因为我们在合成数据方面取得了突破，一切都行得通，我们可以模拟一切。
我认为另一种情况是，现在非常清楚的是，虽然我们已经用尽了关于文本的数据，但我们远未用尽关于和音频的数据。而且我认为，这些模型在新形式的模式上的能力仍待确定。所以我们就是不知道，因为此前重点并未放在那里。但现在你开始看到大型实验室更多地谈论音频和。
从人类交互的角度来看，这些模型将能够实现什么，我认为这将会相当惊人。我认为你们已经看到了图像生成和生成方面有了多大的飞跃。而一年后、两年后的情况会是怎样，可能会令人非常难以置信。
是的，我认为对于非技术专家来说，困难的部分在于，在过去的一年到一年半的时间里，问题一直是如果遵循缩放定律，GPT - 5 会带来什么？没有人能够真正清晰地阐述出来，因为我们所知道的是，好的，训练损失会降低。所以你会说，好的，这个东西在下一个标记预测方面会更准确。但从能力的角度来看，这到底意味着什么？
在发布之前，我们未曾意识到的新兴能力是什么？所以我认为，除非实验室站出来说，它的准确性非常好，值得继续沿着这种对数线性规格化的轨迹发展。如果有人这么说，我想，不管整个讨论的情况如何，也不管你可能相信什么，你都得说，好吧，这种情况又出现了。我只是认为，你必须保持超级开放的心态。
如果我们三个月前进行这场对话，当时会有私下里的议论，但不会公开讨论。我只是认为你必须不断更新你的先验知识。所以，显然，就像杰森所说，我会寻找那样的东西。就我个人而言，我密切关注 Llama。
显然，在某个时候存在这样一种风险，即他们决定不再保持开源。如果我是生态系统中的其他参与者，我会竭尽全力确保 Llama 保持开源。而且，要实现这一点，是有一定办法可行的。
但我认为这只是一方面，因为他们在前沿投入的意愿，以及像他们那样提供那些模型的方式，我认为已经彻底改变了模型行业的战略动态。所以这是我会关注的另一个方面。
关于通用人工智能及后续发展的思考
在我们接近讨论尾声的时候，我有一个哲学方面的问题，是关于人工智能超级智能。所以，如果通用人工智能已经存在或者明年就会出现，你们两位究竟会如何看待它？我想这建立在之前关于我们究竟对停留在缩放壁垒上的 GPT-5 有何期望的讨论之上。这意味着什么？
因为至少在简单的聊天互动中，我能想象到它能做得好得多的事情越来越少了，甚至都不知道那会是什么样子。而且，我们可能还只是处于应用程序开发、微调、改进、算法更新等等的早期阶段。
所以我很好奇，从哲学角度来说，对于超出我们天生所拥有的东西，你认为关键的检验标准会是什么，或者可能会有什么，因为现有的模型在不断调整、优化和改进。人工智能究竟意味着什么？
这是否意味着它解决了此前不可能解决的数学或物理难题，还是其他什么情况？
那个想法对你们俩来说意味着什么？
这些都不是我的话。我不记得最初是谁说的，但人类真的很擅长改变对期望的标准。 20 世纪 70 年代的人工智能所代表的意义与 80 年代、90 年代、21 世纪初以及 2024年的意义是不同的。所以，如果一台计算机能够做到某件事，人类就会有一种很好的
方式将其描述为自动化。而计算机做不到的任何事，现在都会成为人工智能的新标准。
所以我认为，这些系统已经极其智能，在人类智能方面表现出色，有时甚至超越人类智能。我认为，如果你看看像 DeepMind 这样的一些模型开发者以及几家初创公司在数学、物理和生物学等领域所走的道路，就会非常清楚，这些模型的应用和输出将会是人类以前根本无法做到的事情。我们已经看到，在蛋白质折叠等方面就是如此。
今天，我们开始看到一些与之相关的东西，这涉及到数学证明。我有信心，这也会涉及到物理证明。所以我对人类的乐观希望是，我不知道，我们能够打开虫洞之类的东西，我们将能够以前所未有的规模研究广义相对论，研究黑洞，或者以我们以前无法做到的方式模拟黑洞。
此刻，所有这一切听起来都有点荒谬，但就目前事情的进展方式以及已经发展的方式而。
