他们今年的收入或营业收入将达到50亿美元左右，明年可能会达到100亿美元。如果你看看今天的业务，它的收入大约是谷歌首次公开募股时的两倍。他们有2.5亿，是的，每周平均用户数为2.5亿，我们估计这是谷歌首次公开募股时的两倍。如果你看看这家公司的市盈率，如果你相信明年会有100亿美元，那么它大约是预期收入的15倍，也就是谷歌和Meta在首次公开募股时的市盈率。想象一家22个月前收入为零、每周平均用户数为零的公司。

　　跟我们谈谈OpenAI作为合作伙伴对你的重要性，以及OpenAI作为推动公众对AI的认识和使用的力量。

　　好吧，这是我们这个时代最重要的公司之一，一家追求AGI愿景的纯AI公司。不管它的定义是什么。我几乎不认为定义是什么完全重要，我也不认为时机很重要。我知道的一件事是，AI将随着时间的推移拥有能力路线图。而这个能力路线图将非常壮观、奇特。在此过程中，早在它达到任何人对AGI的定义之前，我们就会充分利用它。

　　你所要做的就是，现在，在我们说话的时候，去和数字生物学家、气候技术研究人员、材料研究人员、物理科学家、天体物理学家、量子化学家交谈。你可以去问游戏设计师、制造工程师、机器人专家。选你最喜欢的。无论你想选择哪个行业，你都要深入研究，和重要的人交谈，问他们，AI是否彻底改变了你的工作方式。你收集这些数据点，然后回头问问自己，你想有多怀疑。因为他们不是在谈论AI的概念优势。他们现在谈论的是将来使用AI。现在，农业技术、材料技术、气候技术，你选择你的技术，你选择你的科学领域。它们正在进步。AI正在帮助他们推进他们的工作。

　　现在，正如我们所说，每个行业、每个公司、每个高度、每所大学。难以置信。对吧？绝对是这样。我会以某种方式改变商业。我们知道这一点。我的意思是，我们知道它是如此切实。

　　今天。它正在发生。它正在发生。所以，我认为ChatGPT 的觉醒引发了它，这完全令人难以置信。我喜欢他们的速度和他们推动这一领域发展的独特目标，这真的很重要。

　　他们建立了经济引擎，可以为下一个模型前沿提供资金。我认为硅谷正在形成一种共识，即整个模型层、商品化的 Llama 使许多人能够以非常低廉的价格建立模型。所以早期我们有很多模型公司。这些，特征、语调和凝聚力都列在清单上。

　　很多人质疑这些公司是否能够在经济引擎上建立逃逸速度，从而继续资助下一代。我自己的感觉是，这就是你看到整合的原因。OpenAI 显然达到了速度。他们可以资助自己的未来。我不清楚其他许多公司是否能做到。这是对模型层现状的公平评估吗？我们将像在许多其他市场一样，将这种整合到能够负担得起的市场领导者身上，他们拥有经济引擎和应用程序，可以让他们继续投资。

　　仅仅拥有强大的GPU并不能保证一家公司在AI领域取得成功

　　首先，模型和AI之间存在根本区别。是的。模型是必不可少的要素。对。对于AI来说，它是必要但不充分的。对。所以，AI是一种能力，但用于什么，对吗？那么它的应用是什么？对吗？软件驾驶汽车的AI与人类机器人的AI有关，但并不相同，后者与聊天机器人的AI有关，但并不相同。

　　所以你必须了解分类法。是的，堆栈的分类法。在堆栈的每一层，都会有机会，但不是堆栈的每一层都为每个人提供无限的机会。

　　现在，我刚刚说了一句话，你所做的就是用GPU替换模型这个词。事实上，这是我们公司 32 年前的一个伟大观察，即 GPU、图形芯片或GPU与加速计算之间存在根本区别。加速计算与我们在 AI 基础设施方面所做的工作不同。它们是相关的，但并不完全相同。它们是相互叠加的。它们并不完全相同。而且这些抽象层中的每一个都需要完全不同的技能。

　　真正擅长构建GPU的人不知道如何成为一家加速计算公司。我可以举例说明，有很多人制造 GPU。我不知道哪一个是后来的，我们发明了 GPU，但你知道我们不是，我们不是今天唯一一家制造GPU的公司，对吗？到处都有 GPU，但它们不是加速计算公司。有很多人这样做。他们的加速器可以进行应用程序加速，但这与加速计算公司不同。例如，一个非常专业的AI应用程序，对吧，这可能是一件非常成功的事情，对吗？

　　这就是 MTIA。

　　对。但它可能不是那种带来影响力和能力的公司。所以你必须决定你想成为什么样的人。所有这些不同领域可能都有机会。但就像建立公司一样，你必须注意生态系统的变化以及随着时间的推移哪些东西会被商品化，认识到什么是功能，什么是产品，对，什么是公司。好的。我刚刚讲过，好吧，你可以用很多不同的方式来思考这个问题。

　　xAI和孟菲斯超级计算机集群已经到了“20万到30万个GPU集群的时代”

　　当然，有一家新进入者有钱、有智慧、有野心。那就是 xAI。是的，对。而且，有报道称你和 Larry Ellison和马斯克共进晚餐。他们说服你放弃 100000个H100芯片。他们去了孟菲斯，在几个月内就建立了一个大型连贯超级集群。

　　三点，不要划等号，好吗？是的，我和他们共进晚餐。

　　你认为他们有能力建立这个超级集群吗？有传言说他们想要另外十万个 H200，对吧，来扩大这个超级集群的规模。首先，跟我们谈谈 X 和他们的野心以及他们取得的成就，但同时，我们已经到了20万到30万个GPU集群的时代了吗？

　　答案是肯定的。然后首先，承认成就。从概念的那一刻到数据中心准备好让英伟达在那里安装我们的设备，再到我们启动它、连接好它并进行第一次训练的那一刻，这一切都值得。

　　好的。所以第一部分就是在这么短的时间内建造一个巨大的工厂，水冷、通电、获得许可，我的意思是，这就像超人一样。是的，据我所知，世界上只有一个人能做到这一点。我的意思是，马斯克对大型系统的工程和建设以及资源调配的理解是独一无二的。是的，这真是令人难以置信。当然，他的工程团队也很出色。我的意思是，软件团队很棒，网络团队很棒，基础设施团队很棒。马斯克对此深有体会。

　　从我们决定与工程团队、网络团队或基础设施计算团队、软件团队一起开始规划的那一刻起，所有的准备工作都提前了。然后所有的基础设施、所有的物流、当天运来的技术和设备数量、基础设施和计算基础设施，以及培训所需的所有技术，19 天都悬而未决，你想要什么吗？做了。

　　退一步想想，你知道 19 天是多少天吗？19 天是几周吗？对吧？如果你亲眼看看，技术的数量是令人难以置信的。所有的布线和网络，英伟达设备的网络与超大规模数据中心的网络非常不同。好的，一个节点需要多少根电线。计算机的背面全是电线，而将这一大堆技术和所有软件集成在一起，真是不可思议。

　　所以我认为马斯克和X团队所做的，我非常感激他承认我们与他一起进行的工程工作以及规划工作等等。但他们取得的成就是独一无二的，以前从未有过。只是从这个角度来看。十万个 GPU，作为一个集群，这很容易成为地球上最快的超级计算机。你建造的超级计算机通常需要三年的规划时间。然后他们交付设备，需要一年的时间才能让它们全部运转起来。是的，我们说的是 19 天。

　　一切都已经正常运转了。是的，当然，还有一大堆 X 算法、X 框架、X 堆栈等等。我们说我们有大量逆向集成要做，但规划非常出色。只是预先规划。

　　大规模分布式计算是未来AI发展的重要方向

　　一端是正确的。马斯克是一端。是的，你，但你回答这个问题时一开始就说，是的，这里有 20到 30万个GPU集群。是的，对。这能扩展到 50万个吗？能扩展到 100 万个吗？你的产品需求是否取决于它扩展到 200 万个？

　　最后一部分是否定的。我的感觉是分布式训练必须有效。我的感觉是分布式计算将被发明。某种形式的联邦学习和分布式计算，异步分布式计算将被发现。

　　我对此非常热衷和乐观，当然，要意识到的是，缩放定律过去是关于预训练的。现在我们已经转向多模态，我们已经转向合成数据生成，后训练现在已经扩展得令人难以置信。合成数据生成、奖励系统、基于强化学习，然后现在推理缩放已经达到了顶峰。一个模型在回答你的答案之前已经进行了令人难以置信的 10000 次内部推理。

　　这可能并非不合理。它可能已经完成了树。它可能已经在此基础上进行了强化学习。它可能，它可能已经进行了一些模拟，肯定做了很多反思，可能查找了一些数据，查看了一些信息，不是吗？所以他的背景可能相当大。我的意思是，这种类型的智能是。好吧，这就是我们所做的。这就是我们所做的。不是吗？因此，对于能力，这种扩展，我刚刚进行了计算，并将其与模型大小和计算大小每年 4 倍进行复合。

　　另一方面，需求在使用方面持续增长。我们认为我们需要数百万个GPU吗？毫无疑问。是的，现在这是肯定的。所以问题是，我们如何从数据中心的角度来构建它？这在很大程度上与数据中心是一次几千兆瓦还是一次 250 兆瓦有关。我的感觉是，你会同时得到两者。

　　我认为分析师总是关注当前的架构赌注，但我认为这次谈话中最大的收获之一是，你正在考虑整个生态系统和未来很多年。所以，因为英伟达只是在扩大或扩大规模，是为了满足未来的需求。这并不是说，你只能依赖一个拥有 50 万甚至一百万个GPU集群的世界。当分布式训练出现时，你就会编写软件来实现它。

　　我们七年前就开发了 Megatron。是的，这些大型训练任务的扩展会发生。所以我们发明了Megatron，所以，所有正在进行的模型并行性，所有分布式训练的突破和所有批处理以及所有这些东西都是因为我们做了早期的工作，现在我们正在为下一代做早期的工作。

　　那么我们来谈谈草莓和o1。我认为他们以o1命名很酷。这意味着招募世界上最优秀、最聪明的人，并将他们带到美国。我知道我们都对此充满热情。所以我喜欢这个想法，建立一个思考的模型，将我们带到下一个扩展智能的水平，对吧，这是对这样一个事实的致敬：正是这些通过移民来到美国的人，成就了我们，让我们成为现在的样子，将他们的集体智慧带到了美国。

　　当然。这是由我们的朋友 Noam Brown 带头的。推理时间推理作为扩展智能的全新载体有多重要，与仅仅构建更大的模型是分开的。

　　这是一件大事。这是一件大事。我认为，很多智能不能先验地完成。对。很多计算，甚至很多计算都不能重新排序。我的意思是，无序执行可以优先完成，很多事情只能在运行时完成。

　　所以，无论你是从计算机科学的角度还是从智能的角度来思考，太多的事情都需要背景。环境，对吧。还有质量，你正在寻找的答案类型。有时，一个快速的答案就足够了。这取决于答案的后果，影响。这取决于答案的使用性质。所以，有些答案，请花一个晚上，有些答案需要一周的时间。

　　是的。对吧？所以我完全可以想象我向我的AI发送一个提示，告诉它，考虑一晚。考虑一夜。不要马上告诉我。我希望你考虑一整晚，然后明天再告诉我。你对我最好的答案和理由是什么。所以，我认为从产品的角度来看，现在的质量，智能的细分。会有一次性的版本。当然。还有一些需要五分钟。

　　对吧？还有人类。所以如果你愿意的话，我们将成为一个庞大的员工群体。他们中有些是AI中的数字人，有些是生物人，我希望有些甚至是超级机器人。

　　我认为，从商业角度来看，这是一个被严重误解的事情。你刚刚描述了一家公司，它的产出量相当于一家拥有 15 万人的公司，但你只用 5 万人就做到了。没错。现在，你并没有说我要解雇所有员工。不。你仍在增加组织中的员工数量，但该组织的产出量将大幅增加。

　　这，这经常被误解。AI不是我。AI不会改变每一项工作。AI将对人们的工作方式产生巨大影响。让我们承认这一点。AI有潜力带来令人难以置信的好处。它也有潜力造成伤害。我们必须建立安全的AI。是的，让我们打好这个基础。是的。好的。

　　人们忽视的部分是，当公司使用AI提高生产力时，它很可能会表现为更好的收益或更好的增长，或两者兼而有之。当这种情况发生时，首席执行官的下一封电子邮件很可能不是裁员。

　　当然是公告，因为你在成长。

　　原因是我们有更多的想法，我们可以探索，我们需要人们帮助我们在自动化之前仔细考虑。所以自动化部分，AI可以帮助我们做到。显然，它也会帮助我们思考，但仍然需要我们去弄清楚我想解决什么问题。我们可以解决的问题有上万亿。那么，公司需要解决什么问题，选择这些想法，并找出自动化和扩展的方法。因此，随着我们变得更有生产力，我们将雇佣更多的人。人们忘记了这一点，如果你回到过去，显然我们今天的想法比 200 年前更多。这就是为什么 GDP 更大、就业人数更多的原因。尽管我们在底层疯狂地自动化。

　　这是这个时期的一个非常重要的点，我们正在进入一个几乎所有人类生产力、几乎所有人类繁荣都是自动化的副产品。过去 200 年的技术。我的意思是，你可以看看亚当·斯密和谢姆彼得的创造性破坏，你可以看看过去 200 年来人均 GDP 增长图表，现在它正在加速。

　　是的，这让我想到了这个问题。如果你看看 90 年代，我们美国的生产力增长率大约是每年 2.5% 到 3%，好吗？然后在 2010 年，它放缓到大约 1.8%。然后过去 10 年是生产力增长最慢的十年。所以这就是我们固定数量的劳动力和资本或产出量，实际上是有记录以来最慢的。

　　很多人都在争论这个原因。但如果世界真的像您所描述的那样，我们要利用和制造智能，那么我们是不是正处于人类生产力急剧扩张的边缘呢？

　　这是我们的希望。这是我们的希望。当然，我们生活在这个世界上，所以我们有直接的证据。

　　我们有直接的证据，要么是孤立的案例，要么是个别研究人员，他们能够利用AI以难以想象的超大规模探索科学。这就是生产力。百分百衡量生产力，或者我们正在以如此高的速度设计出如此令人难以置信的芯片。我们正在构建的芯片复杂性和计算机复杂性正在呈指数级增长，而公司的员工基础并不是衡量生产力的标准，对吧。

　　我们开发的软件越来越好，因为我们使用AI和超级计算机来帮助我们。员工人数几乎呈线性增长。生产力的另一个体现。

　　所以，我可以深入研究，我可以抽样检查很多不同的行业。我可以亲自检查。是的，你说得对。商业。没错。

　　所以我可以，当然，你不能，我们不能，我们可能会过度拟合。但它的艺术性当然是概括我们所观察到的是什么，以及这是否会在其他行业中体现出来。

　　毫无疑问，AI是世界上已知的最有价值的商品。现在我们要大规模生产它。我们，我们，我们所有人都必须擅长，如果你被这些AI包围，它们做得非常好，比你好得多，会发生什么。当我回想起来，这就是我的生活。我有 60 个直接下属。

　　他们在自己的领域是世界一流的，而且他们做得比我好。比我好很多。我与他们互动毫无困难，我也能毫不费力地设计他们。我也能毫不费力地编程他们。所以我认为人们要学习的是，他们都将成为 CEO。

　　他们都将成为 AI 代理的 CEO。他们有能力拥有创造力，嗯，一些知识，以及如何推理，如何分解问题，这样你就可以对这些 AI 进行编程，以帮助你实现像我一样的目标。这就是经营公司。

　　AI安全需要多方共同努力

　　现在。你提到了一些东西，那就是不协调，安全的AI。你提到了中东正在发生的悲剧。我们拥有很多自主权，而且很多AI正在世界各地使用。那么让我们来谈谈坏人、安全AI、与华盛顿的协调。你今天感觉如何？我们走在正确的道路上吗？我们有足够的协调水平吗？我认为马克·扎克伯格曾说过，我们打败坏AI的方法是让好AI变得更好。你如何描述你对我们如何确保这对人类产生积极的净收益的看法，而不是让我们生活在这个反乌托邦的世界里。

　　关于安全的讨论确实很重要，也很好。是的，抽象的观点，将AI视为一个巨大的神经元网络的概念性观点，并不是那么好，对吧。好的。原因是，众所周知，AI和大型语言模型是相关的，而不是一回事。我认为有很多正在做的事情非常好。第一，开源模型，以便整个研究社区、每个行业和每个公司都可以参与AI，是的，并学习如何利用这种能力进行应用。非常好。

　　第二，人们低估了致力于发明AI以保证AI安全的技术数量。是的，AI可以整理数据、携带信息、进行训练，创建AI是为了协调AI，生成合成数据以扩展AI的知识，使其减少幻觉。所有被创建用于矢量化或图形化或任何其他用于通知 AI、保护 AI 以监控其他 AI 的 AI 系统，这些 AI 系统创建的安全 AI 正在受到赞扬，对吗？

　　那。我们正在建立这一切。是的，在整个行业中，方法论、红队、流程、模型卡、评估系统、基准测试系统，所有这些，所有这些正在以令人难以置信的速度构建的线束。我想知道，庆祝。你们明白吗？是的，你知道。

　　而且，没有，没有，没有政府法规说你必须这样做。是的，今天在这个领域中构建这些AI的参与者正在认真对待这些关键问题，并围绕最佳实践进行协调。没错。

　　所以这还没有得到充分重视，也没有得到充分理解。是的。需要有人，需要，每个人都需要开始谈论AI，这是一个AI系统，是一个工程系统，是经过精心设计的，从第一原则构建的，经过充分测试的，等等。记住，AI是一种可以应用的能力。我不认为有必要对重要技术进行监管，但也不要过度监管，以至于有些监管要针对大多数应用进行。所有已经监管技术应用的不同生态系统现在都必须监管现在融入AI的技术应用。

　　所以，我认为，不要误解，不要忽视世界上为AI而必须启动的大量法规。不要只依赖一个宇宙银河系。AI委员会可能能够做到这一点，因为所有这些不同的机构的成立都是有原因的。所有这些不同的监管机构的成立都是有原因的。回到最初的原则，我会。

　　开源与不开源的对立是错误的

　　你们推出了一个非常重要、非常庞大、非常强大的开源模型。

　　是的，很明显，Meta为开源做出了重大贡献。我发现当我阅读 Twitter 时，有很多关于开放与封闭的讨论。您如何看待开源，您自己的开源模型，能否跟上前沿？这是第一个问题。第二个问题是，您知道，拥有开源模型和闭源模型，它们为商业运营提供动力，这是您对未来的看法吗？这两件事是否为安全创造了健康的张力？

　　开源与闭源与安全有关，但不仅仅是安全。例如，拥有闭源模型绝对没有错，它们是维持创新所必需的经济模型的引擎。好吧，我完全赞成这一点。我认为封闭与开放的对立是错误的。

　　因为开放是许多行业得以激活的必要条件，现在，如果我们没有开源，所有这些不同的科学领域如何能够激活，激活AI。因为他们必须开发自己的特定领域的AI，他们必须使用开源模型开发自己的AI，创建特定领域的AI。它们是相关的，不是，再说一遍，不一样。仅仅因为你有一个开源模型并不意味着你就有AI。所以你必须有那个开源模型来创建AI。所以金融服务、医疗保健、交通运输，这些行业、科学领域的列表现在已经因为开源而得以实现。

　　难以置信。你看到对你的开源模型的需求很大吗？

　　我们的开源模型？首先。Llama 下载。显然，是的，马克和他们所做的工作令人难以置信。超乎想象。是的。它完全激活并吸引了每一个行业、每一个科学领域。

　　好的，当然。我们做 Nemotron的原因是为了生成合成数据。直观地说，一个AI会以某种方式坐在那里循环并生成数据来学习自己。这听起来很脆弱。你能绕这个无限循环多少次，这个循环值得怀疑。然而，我脑海中的画面有点像你找了一个超级聪明的人，把他关进一个软垫房间，关上门大约一个月，出来的可能不是一个更聪明的人。所以，所以，但你可以让两三个人坐在一起，我们有不同的AI，我们有不同的知识分布，我们可以来回进行质量保证。我们三个人都可以变得更聪明。

　　因此，你可以让 AI 模型交换、互动、来回传递、讨论强化学习、合成数据生成等，这种想法在直觉上是有意义的，可以提出建议并有意义。因此，我们的模型Nemotron 350B 是是世界上最好的奖励系统模型。因此，这是最好的批评。

　　有趣。这是一个非常棒的模型，可以增强其他人的模型。因此，无论其他人的模型有多好，我都会建议使用Nemotron 340B 来增强和改进它。我们已经看到 Llama 变得更好，使所有其他模型都变得更好。

　　作为在 2016 年交付 DGX1 的人，这真的是一段不可思议的旅程。您的旅程既不可思议又令人难以置信。就像只是在早期幸存下来一样非常了不起。您在 2016 年交付了第一台 DGX1。我们在 2022 年迎来了寒武纪时刻。

　　所以我要问您一个我经常想得到答案的问题，那就是，在 60 个直接下属的领导下，您能维持现在的工作多久？您无处不在。您正在推动这场革命。您玩得开心吗？还有什么其他您更愿意做的事情吗？

　　这是关于过去一个半小时的问题。答案是“我很享受”。很棒的时光。我无法想象我更愿意做的其他事情。让我们看看。我认为，我认为不应该给人留下我们的工作总是充满乐趣的印象。我的工作并不总是充满乐趣，我也不指望它总是充满乐趣。我曾经期望它总是充满乐趣吗？我认为它总是很重要。

　　是的，我不会太严肃地对待自己。我非常认真地对待工作。我非常认真地对待我们的责任。我非常认真地对待我们的贡献和我们的时刻。

　　这总是充满乐趣吗？不。但我一直都喜欢它吗？是的。就像所有的事情一样，无论是家庭、朋友还是孩子。它总是充满乐趣吗？不。我们总是喜欢它吗？绝对。

　　所以我认为，我，我能做多久？真正的问题是，我能保持相关性多久？这才是最重要的，这个问题的答案只能是我将如何继续学习？今天我更加乐观。我这么说不仅仅是因为我们今天的主题。我对我说相关性和继续学习的能力更加乐观，因为AI。我每天都在用它，我不知道，但我相信你们都在用。我几乎每天都在用它。

　　我没有一个研究不涉及AI。是的，没有一个问题，即使我知道答案，我也会用AI再三核对。是的，令人惊讶的是，我接下来问的两三个问题，揭示了一些我不知道的东西。你选择你的主题。你选择你的主题。我认为AI是一个导师。

　　AI 是助手，AI 是合作伙伴，可以与我一起集思广益，检查我的工作，伙计们，这完全是革命性的。我是一名信息工

　　说我无法想象你和我在这个领域已经工作了几十年，我无法想象错过这一刻。这是我们职业生涯中最重要的时刻。我们非常感谢这种合作关系。

　　思想伙伴关系。是的，你让事情变得更聪明。谢谢你。我认为你作为领导层的一部分真的很重要，对吧，这将乐观而安全地引领这一切向前发展。所以谢谢你。