发布时间:2024-11-15 已有: 位 网友关注
对于未来AI的发展方向,英伟达CEO黄仁勋又有了新的判断。他在稍早前举办的英伟达日本峰会上提到了两个AI趋势:
AI的可扩展性和多模态能力。这意味着AI能够处理和理解多种类型的数据,如文本、语音、图像和,并将这些数据类型相互关联,从而在多种应用场景中发挥作用。
AI应用的“寒武纪大爆发”。AI应用的爆炸性增长,将创造许多新的行业和公司。黄仁勋将这一时期比作“寒武纪大爆发”,一个生物多样性急剧增加的地质时期。
他强调,尽管芯片是AI系统的核心组件之一,但AI的真正价值和潜力在于整个系统的综合能力和广泛的应用前景。
黄仁勋认为,未来有两种类型的AI会非常受欢迎:数字AI工
黄仁勋将英伟达视为一家模拟技术公司,专注于模拟物理学、虚拟世界和智能,通过模拟帮助预测未来,更像是在造时间机器。他说,英伟达未来布局聚焦于AI技术和生态系统合作,通过加速计算和GPU强化CPU,同时提供丰富的软件和库支持AI发展。
他还说,一个新的行业——人工智能制造——正在诞生,届时每家公司都将成为AI制造商。
本质上,英伟达是一家模拟技术公司。我们模拟物理、虚拟世界和智能。通过我们的模拟技术,我们帮助您预测未来。因此,在许多方面,英伟达就像制造了时间机器。
事实上,我们几乎是计算机领域唯一一家不想取代CPU的公司。我们的目标是通过将计算密集型的工作负载转移到GPU上,从而释放CPU的能力。
在过去的十年里,我们让人工智能和机器学习的规模提高了 100 万倍。通过把机器学习的规模提升100万倍,我们实现了一个巨大的突破,也正是这个突破,催生了如今的 ChatGPT——人工智能的到来。
软件1.0 就是编写在 CPU 上运行的代码。现在我们进入了软件2.0时代,因为计算机速度已经非常快,你可以给它提供大量的样本数据,让它自己学习并预测函数。我们称之为软件 2.0。
现在的软件不再是手写的代码,而是在GPU上运行的神经网络。这些在GPU上运行的神经网络正在形成一种新的操作系统,一种新的使用计算机的方式,也就是现代计算机的操作系统,特别是大型语言模型。
这种机器学习方法已被证明具有令人难以置信的可扩展性。你可以用它做各种各样的事情,包括数字化文本、声音、语音、图像和。它可以是多模态的。你可以教它氨基酸序列,教它理解任何有大量观察数据的内容。
AI不单单是芯片的问题。系统不能单独工作。即使是世界上最先进的计算机也无法单独为人工智能工作。有时它必须与成千上万的其他计算机一起工作,像这样的节点一起作为一台计算机。有时他们必须分开工作,因为他们正在响应不同的客户、不同的查询,有时是单独的,有时是作为一个整体。
一个是数字化的,我们称之为AI代理,你可以在办公室里使用它们与你的员工合作。第二个是物理AI系统机器人。这些物理AI将是公司构建的产品。因此,公司将使用AI来提高员工的生产力,我们将使用AI来推动和授权我们销售的产品。车企未来会有两个工厂,一个工厂造汽车,一个工厂生产汽车里运行的AI。
现在我们有了一个以前从未存在过的新行业——人工智能位于计算机行业的顶端,但它被每个行业利用和创造。
为了实现机器人技术,我们需要建造三台计算机。第一台计算机训练AI,就像我们之前给你们举的所有例子一样。第一台是模拟AI。你需要给AI一个练习的地方,一个学习的地方,一个撤退的地方,接收它可以学习的合成数据。Omniverse平台,它使您能够创建AI。最终你想要的是AI。最终,你所期望的 AI,将会看到一个世界,它能识别、周围的环境以及你的需求,并生成相应的动作。
黄仁勋演讲全文如下:
欢迎来到英伟达AI峰会。你刚才看到的一切都是模拟的。没有动画。本质上,英伟达是一家模拟技术公司。我们模拟物理、虚拟世界和智能。通过我们的模拟技术,我们帮助您预测未来。因此,在许多方面,英伟达就像制造了时间机器。今天,我们将与您分享我们的一些最新突破。但最重要的是,这是一个关于日本生态系统的活动。我们在这里有很多合作伙伴,包括350家初创公司、250,000名开发者和数百家公司。我们来这里已经很久了。自公司成立以来,日本市场对我们非常重要。在日本,我们有许多“第一次”尝试。第一个与我们合作的游戏开发者是世嘉的铃木裕,他是一位著名的3D游戏开发者,首先与我们合作将世嘉令人惊叹的3D游戏移植到英伟达的图形处理器上。东京工业大学首次使用英伟达CUDA构建超级计算机Subamer 1.2,使我们能够利用我们的图形处理器推动科学计算。日本在许多方面都是第一。这也是我们首次能够创建移动处理器,这催生了我们非常重要的项目之一——任天堂Switch。如此多的“第一次”。现在我们正处于一个新时代的开始,AI革命,一个新的行业,非凡的技术变革。这是一个非常令人兴奋的时刻,但也非常关键。因此,我们在这里与日本生态系统的优秀公司合作,将AI引入日本,以便我们能够充分利用眼前这个非凡的机会。今天我们在这里有许多合作伙伴,我要感谢GMO互联网集团、惠普、微软Azure、三井集团等白金赞助商。我想感谢你们所有人。还有其他56个赞助商。感谢大家的到来,感谢大家的支持。英伟达发明了加速计算,但并没有取代CPU。事实上,我们几乎是计算机领域唯一一家不想取代CPU的公司。我们的目标是通过将计算密集型的工作负载转移到GPU上,从而释放CPU的能力。这是GPU,这是CPU。通过结合这两者,我们可以利用这两种处理器的最佳功能:CPU非常擅长顺序处理,而图形处理器则非常擅长并行处理。我稍后会详细讨论这个,但这就是加速计算,不仅仅是并行计算,而是CPU和GPU的协同工作。这种计算模型对世界来说是全新的。事实上,CPU自1964年开始就已经存在了,也就是我出生的第二年,至今已有60年。我们今天在计算机上看到的绝大多数运行在CPU上的软件。但现在有一个新的变化,计算模型正在发生根本性变化。然而,为了实现这一点,你不能仅仅将顺序运行的CPU软件放到GPU上并行运行。我们必须创建一大堆新的算法,就像OpenGL使计算机图形应用程序能够通过图形处理器连接到加速一样,我们必须为许多不同的应用程序创建许多特定领域的库。这些是我们公司拥有的350个不同库中的一些,非常重要的库。Kulethos是一个用来加速计算光刻的工具,这是芯片制造过程中的一个步骤。计算光刻是一个复杂的过程,通常需要数周时间来计算许多层的图案。但使用Kulethos后,这个时间可以缩短到几个小时。当然,我们能够缩短芯片制造的周期,但同样重要的是,我们能够让光刻技术的算法变得更加复杂,这意味着我们可以推动半导体技术达到更高的精度,比如2纳米、1纳米甚至更小的尺度。因此,计算光刻的过程将通过Kulethos和Spark Solver的DSSAI Ariel技术得到加速。我今天将会详细讨论这个话题。这个新开发的库非常了不起,它使计算机能够运行5G无线电的技术栈。简单来说,就是可以在Nvidia的CUDA加速器上实时操作一个无线电。此外,CUDA也被用于量子模拟,比如模拟量子电路。还有用于基因测序的配对技术,以及KUV技术,这是一种用于存储向量数据的技术,也用于索引和查询向量数据库,这些数据库在人工智能领域特别有用。NumPy是一个用于数值计算的库。它是世界上最流行的数值处理库之一,大约有五百万不同的开发者在使用。这个库非常受欢迎,仅在上个月就达到了3000万次的下载量,这是一个惊人的数字。现在,NumPy已经完全支持在多个GPU和多个计算节点上进行加速计算,这使得它在处理大规模数据时更加强大。建议你去了解一下这个库,它的强大功能确实令人难以置信。QDF是一个用于处理数据帧和结构化数据的库,它支持像SQL、Pandas、Polars等数据处理技术,以及解决复杂的旅行商问题。这个库极大地加速了这些问题的解决,速度提升了数百倍。接下来提到的是KUDNN,这是我们创建的最重要的库之一,全称是深度神经网络的qdnn。这个库负责处理深度学习模型中不同层次的数据。通过创建qdnn并推动深度学习的普及和加速,在过去的十年里,我们让人工智能和机器学习的规模提高了 100 万倍。通过把机器学习的规模提升100万倍,我们实现了一个巨大的突破,也正是这个突破,催生了如今的 ChatGPT——人工智能的到来。简而言之,KUDNN库对于推动人工智能的发展起到了关键作用。Qdnn做了一些特别的事情,它改变了我们编写和使用软件的方式。软件 1.0 就是编写在 CPU 上运行的代码。现在我们进入了软件2.0时代,因为计算机速度已经非常快,你可以给它提供大量的样本数据,让它自己学习并预测函数。我们称之为软件 2.0。这样它就能自我学习并预测函数是什么,这就是机器学习。所以,现在的软件不再是手写的代码,而是在GPU上运行的神经网络。这些在GPU上运行的神经网络正在形成一种新的操作系统,一种新的使用计算机的方式,也就是现代计算机的操作系统,特别是大型语言模型。这种机器学习方法已被证明具有令人难以置信的可扩展性。你可以用它做各种各样的事情,包括数字化文本、声音、语音、图像和。它可以是多模态的。你可以教它氨基酸序列,教它理解任何有大量观察数据的内容。理解数据含义的第一步是,通过研究互联网上的大量文本,我们能够理解单词、词汇、语法,甚至通过找到模式和关系来理解单词的含义。使用相同的方法,我们现在不仅能够理解连接到不同模态的不同数据类型的含义,例如,单词和图像之间的关系。通过学习多模态,我们现在甚至可以翻译和生成各种智能信息。如果你观察所有那些令人惊叹的新兴公司和他们创造的应用程序,你会发现它们可以被归为两种类型,这些类型在一张幻灯片上从一侧到另一侧展示。第一种是文本到文本的应用,包括文本的总结、问答系统、文本生成和讲故事。第二种是到文本的应用,比如为生成字幕。还有图像到文本的应用,比如图像识别,以及文本到图像的应用,比如图像生成,例如Mid Journey这样的服务。还有文本到的创作,比如Runway ML这样的平台。所有这些不同的组合都是真正的突破。你甚至可以用蛋白质发短信,解释蛋白质的作用,给化学物质发短信,描述一种可能成为成功药物的化学物质的特性。对于药物发现,您甚至可以拥有和文本到机器人的应用。这些组合中的每一个都是一个新的行业、新的公司、新的应用程序用例。现在AI应用正在以寒武纪时代的速度爆炸式增长,而我们才刚刚开始。当然,机器学习的一个特性是,大脑越大,我们能教给它的数据越多,它就变得越聪明。我们称之为比例定律。有充分的证据表明,随着我们扩大模型的规模,训练数据的数量、有效性、质量和智力的表现每年都在提高。该行业正在将模型的大小扩大2倍左右,相应地需要2倍的数据。因此我们需要四倍的计算量。将人工智能推向下一个水平所需的计算资源量是非凡的。我们称之为缩放律,训练缩放律。预培训是其中的一部分,后培训包括强化学习、人类反馈、强化学习、AI反馈。现在有很多不同的方法在后期训练阶段使用合成数据生成。因此,培训、预培训和后培训正在享受非常显著的扩展,我们继续看到出色的结果。好吧,当草莓或开放AIS01,1被宣布时,向世界展示了一种新型的推理是当你与AI互动时,就像ChatGPT一样。但ChatGPT是一次性的。你问一个问题,你让它为你做点什么。无论你有什么问题,无论你通过一次拍摄提供了什么提示,它都能给出答案。然而,我们知道思考往往不仅仅是一次性的。思考需要我们做多重计划,多个潜在的答案,从中选择最好的一个。就像我们思考时一样,我们可能会在给出答案之前反思答案。反思,我们可能会把一个问题分解成一步步的思维链。我们发明了许多不同的技术,随着我们应用越来越多的计算,推理的表现越来越好。现在我们有了第二个缩放定律,推理缩放定律,不仅仅是生成下一个单词,思考,反思,规划。这两个同时存在的比例定律将要求我们驱动计算超快的速度。每次我们交付新一代、新架构时,我们都会将性能提高X倍,但我们也会将功率降低相同的X倍。我们将成本降低相同的X因子。因此,提高性能与降低成本完全相同。提高性能与降低能量完全相同。因此,随着世界继续吸收和拥抱人工智能,我们的使命是,我们有责任尽可能快地不断提高性能。在此过程中,扩大人工智能的覆盖范围,提高其有效性,降低成本,降低功耗。这就是我们选择一年周期的原因。不过,AI不单单是芯片的问题。这些AI系统是巨大的。这是Blackwell系统,Blackwell一款GPU的名称,但它也是整个系统的名称。GPU本身就是非凡的。有两种Blackwell芯片。每个Blackwell芯片都是世界上最大的芯片,拥有1040亿个晶体管,由台积电在最先进的4纳米节点制造。这两个Blackwell芯片通过每秒10TB的低能链路连接在一起。就在中间,那条线,那条缝,两种芯片之间的数千个相互连接,每秒10TB。它由八个HBM3E存储器连接,这些存储器加在一起每秒运行8TB。这两个GPU连接到另一个低能耗、非常节能的城市的CPU,每秒1TB。每个GPU都通过MVLink以每秒1.8TB的速度连接。那是每秒很多TB。原因是这个系统不能单独工作。即使是世界上最先进的计算机也无法单独为人工智能工作。有时它必须与成千上万的其他计算机一起工作,像这样的节点一起作为一台计算机。有时他们必须分开工作,因为他们正在响应不同的客户、不同的查询,有时是单独的,有时是作为一个整体。为了使MV和GPU能够一体工作,我们当然有网络2 CX Sevens将这个GPU与数千个其他GPU连接起来。但是我们仍然需要这个MV链接,让我们能够将几个GPU连接到我身后的一个机架上。一个机架连接到这个MV每秒5.8 TB。带宽是世界上最高的带宽网络的35倍,这使我们能够将所有这些GPU连接到这个MV链路交换机上。一个机架中有九个MV链接交换机。每个机架有72台这样的电脑。通过这个脊柱连接它。这是MV链接脊柱。这是电缆,铜,50磅的铜直接由这个令人难以置信的谷神星驱动,我们称之为MV链接。它们以这种方式连接到计算机MV链接,这个开关将所有这些计算机连接在一起。因此,结果是72台这些计算机连接为一个大型GPU,一个非常大的GPU。从软件的角度来看,它只是一艘巨轮。这些架子,这些MB连接72个系统,这个架子重3000磅。不可能登上这个舞台。否则,我给你看,是3000磅120千瓦。那就是,我有我的朋友在这里,那是许多Nintendo Switch的力量。它不便携,但非常强大。这就是黑墙系统。我们设计它,使它可以像这样配置为一个Superpod,或者一个巨大的数据中心,有成千上万个,希望有成千上万个,它们通过交换机连接到它们。其中一些是量子无限带交换机。如果您想拥有专用的AI工厂或Spectrum X,英伟达 Spectrum X革命性的以太网系统,您可以将其集成到现有的以太网环境中。我们可以用这些建造AI超级计算机。我们可以将它们集成到企业数据中心、超大规模服务器或为边缘配置它们。Blackwall系统不仅功能强大,而且适应性极强,可以适应世界计算基础设施的每个角落。当然,计算机,但最重要的是,如果没有运行在其上的所有软件,这台计算机就根本无法操作。当你看到这些电脑,所有的液体冷却,所有的电线,你的大脑会爆炸。你如何编写这样一台令人难以置信的计算机?这就是英伟达软件堆栈的地方,这就是我们在Cuda Nickel的所有努力,我们所有的Megatron核心,我们创建的所有软件,Tensor,RTLM,Triton,我们多年来创建的所有软件集成到系统中,使每个人都有可能在世界各地部署AI超级计算机。当然,最重要的是,我们有AI软件,可以让人们轻松构建AI。那么什么是AI?我们用很多不同的方式谈论AI,但我认为有两种类型的人工智能会非常受欢迎。我认为有两个模型非常有帮助。这对我很有帮助。第一,数字AI工