英伟达黄仁勋：我们给真实世界和元宇宙间建了个穿梭门(Omniverse每次技术英伟达GTC新闻发布会)

注：本文来源于微信公众号硅星人（ID：guixingren124），作者|洪雨晗老黄家熟悉的厨房又出现了，但这次英伟达并不像“虚拟数字人”11月9日卖关子，GTC大会（GPUTechnologyConference）主题演讲开始后不久，厨房开始逐渐模糊，是的，人是真的，但厨房是假的！将场景转换为英伟达大楼。场景变成了英伟达大楼。这个假厨房和最后一个虚拟老黄都用了Omniverse每次技术英伟达GTC新闻发布会总能给人们带来很多惊喜。会议正式开始前，英伟达股价上周开始上涨。许多投资者认为，这次会议可能会突出今年英伟达的流行“元宇宙”英伟达擅长主题下的机会GPU元宇宙相当于新能源汽车锂电池。虽然老黄在一个半小时多的主题演讲中并没有刻意强调元宇宙的概念，但在这次会议上，确实有很多新技术产品背后都有元宇宙的影子。先下结论，老黄的整个主题演讲其实就想传达一个核心观念——英伟达伟达AI在各行各业的发展过程中发挥着关键作用。这个概念的内容自然是展示自己的核心技术。简而言之，英伟达在企业和数据中心展示了自己的产品AI、对话式AI以及自然语言处理领域的最新技术，以及边缘AI机器人、医疗、自动驾驶汽车等应用。用OmniverseAvatar来做老黄的AI化身这次主题演讲的亮点自然与外界炒得沸沸扬扬元宇宙的关系密切相关。这次英伟达GTC会议发布了NVIDIAOmniverse——一个用于3D虚拟世界模拟与合作平台的工作流程。事实上，英伟达是去年12月发布的Omniverse该平台的公开测试版本允许创造者在物理上精确模拟或3D实时合作进行渲染。如今，Omniverse平台再次升级，新发布OmniverseAvatar和OmniverseReplicator。其中，OmniverseAvatar用于生成交互AI化身技术平台。它汇集了英伟达在语音AI、积累的计算机视觉、自然语言理解、推荐引擎和模拟技术为创建人工智能助手打开了大门，帮助处理数十亿日常客户服务互动。OmniverseReplicator它是一种合成数据生成引擎，可以连续生成基于现有数据进行训练的合成数据。Omniverse的门户是USD(通用场景描述)黄仁勋认为Omniverse其本质是数字虫洞。未来任何计算机都可以连接到Omniverse，并将一个Omniverse世界连接到另一个世界，USD之于Omniverse就像HTML基于网站的一种标记语言可以统一网络上的文档格式。黄仁勋对Omniverse颇有野心。老黄说，人们常说“互联网改变了一切”，在万物互联网的当下，互联网本质上是世界的数字表达，覆盖了所有2D层次信息，即文本、语音、图像、视频。如今，随着技术的进一步发展，3D层次信息也在不断涌现。在黄仁勋的假设中，未来会有很多设计师和创造者在虚拟现实中，Metaverse在现实世界中设计数字事物，包括汽车、包、鞋子等。而这次发布的Omniverse平台创建了新的3D建模世界或物理世界的技术。用互联网黑话来说，现实世界中物理存在或不存在的一切都值得存在Omniverse再做一遍。可以这样看，Omniverse就像游戏引擎一样，但是老黄说了Omniverse它是为数据中心的规模设计的，未来可能会达到全球数据规模，也就是说，英伟达的预期是未来Omniverse能真正为物理世界建模。当然，让Omniverse虚拟物体与物理世界中的人实时互动仍存在诸多挑战。黄仁勋说：“如何使用Omniverse5.模拟仓库、工厂、物理和生物系统G边缘、机器人、自动驾驶汽车，甚至虚拟图像的数字孪生，都是永恒的主题。”接下来，黄仁勋展示OmniverseAvatar结合英伟达技术生产的实时应用程序。首先是客户支持。ProjectTokkio，“Tokkio”在视频案例中，智能操作台应用程序“Tokkio”在快餐店服务，直接与两位顾客对话，帮助顾客提供点餐服务。基于OmniverseAvatar智能操作台应用程序制作Tokkio如果将OmniverseAvatar与DriveConcierge结合起来，可爱的自定义驾驶虚拟助手出现了。OmniverseAvatar另一个展示的例子是老黄自己AI英伟达的员工早就开始用老黄的声音建立对话语音合成AIToy-Me——一个玩具AI老黄。不得不说，老黄真的知道很多，玩具版AI老黄在视频案例中轻松回答了气候、天文学和生物学专家的专业问题。黄仁勋说：“你会看到这个虚拟图像是基于目前训练中最大的语言模型的语言处理，包括声音，它也是由我自己的声音合成的，你也可以看到基于光跟踪的实时精致图像。”实时对话AI机器人“ToyJensenOmniverseAvatar”老黄还将OmniverseAvatar视频会议平台Maxine音视频功能被添加到虚拟合作和内容创建应用程序中。在视频案例中，一位女士可以在嘈杂的咖啡馆里简单地删除视频会议上的背景噪音。同时，她的英语可以实时转化为各种语言，并产生相应的口语和语调的虚拟图像。一个看似简单AI其实数字人并不简单，OmniverseAvatar如此强大的原因是英伟达近年来的技术突破。老黄说，几年前几乎不可能实现上述案例的功能。如今，OmniverseAvatar的推荐引擎采用Merlin该方案允许企业建立处理大量数据的深度学习推荐系；感知来自计算机视觉框架Metropolis；头像动画由Video2Face和Audio2Face(二维和三维AI驱动面部动画和渲染技术)。老司机自动驾驶OmniverseReplicator黄仁勋在演讲中发布的另一种产品OmniverseReplicator，生成合成数据生成的两个应用程序——NVIDIADRIVESim™、NVIDIAIsaacSim™。它们是用来承载自动驾驶汽车数字双胞胎的虚拟世界用来操纵机器人数字孪生的虚拟世界。OmniverseReplicator的优势在于它能在一定程度上代替真人来进行昂贵、费力的数据标记工作，同时这些虚拟世界中产生的数据可以涵盖各类不同场景，包括在现实世界中无法经常经历的场景以及极度危险的场景。它还可以生成速度、深度、被遮挡物体、恶劣天气条件、跟踪传感器上的物体移动等人类难以或无法标记的真实。当自动驾驶汽车和机器人在一系列虚拟环境中得到充分训练时，它们将逐渐应用于现实世界。此外，黄仁勋还宣布了Omniverse另外四个功能。Showroom——一个包含演示和示例应用程序的显示Omniverse核心技术；Farm——协调跨系统、工作站、服务器和虚拟化批操作的系统层，可用于批量渲染，AI合成数据生成或分布式计算；OmniverseAR——可将图形串流到手机或AR眼镜；OmniverseVR——首款全帧交互光跟踪VR。英伟达对Omniverse英伟达的期望远不止于此，英伟达也将被利用Omniverse构建数字孪生模型来模拟和预测气候变化。英伟达对Omniverse英伟达的期望远不止于此，英伟达也将被利用Omniverse构建数字孪生模型来模拟和预测气候变化。黄仁勋说：“可以说，预测气候变化，制定减缓和适应策略，是当今社会面临的最大挑战之一。”英伟达最后一台超级计算机是Cambridge-1.现在用来模拟和预测气候变化的新型超级计算机将被称为E-2（EarthTwo），意思是地球上的数字孪生，它可以在那里Omniverse以数百万倍的速度运行Modulus创建的AI物理模型。NVIDIACambrigde-1中的GPU在主题演讲结束时，黄仁勋说，人类需要在为时已晚之前采取行动来缓解和适应当今日益频繁的极端天气“我们目前发明的所有技术都是实现的EarthTwo我想不出比这更宏伟、更重要的用途了。”

注：本文来源于微信公众号硅星人（ID：guixingren124），作者 | 洪雨晗

老黄家熟悉的厨房又出现了，不过这次英伟达没有像“虚拟数字人”那次卖关子，在11月9日GTC大会（GPU Technology Conference）的主题演讲开始不久厨房就开始逐渐虚化，对，人真了但厨房是假的！场景转换为英伟达大楼。

这次的假厨房和上次的虚拟老黄用到的都是Omniverse技术

英伟达的每次GTC发布会总能给人带来不少惊喜。在大会正式开始之前，英伟达股价在上周便开始应声而涨。有不少投资者认为此次大会可能会凸显英伟达在今年火爆的“元宇宙”主题下的机遇，应为英伟达所擅长的GPU之于元宇宙，就相当于锂电池之于新能源车。虽然老黄在一个半小时多的主题演讲里没有太刻意去强调元宇宙的概念，但本次大会中，确实有不少新技术产品的背后都有元宇宙的影子。

先下结论，老黄的整个主题演讲其实就想传达一个核心观念——英伟达在推进AI在各行各业发展的过程中扮演了关键角色。串起这个观念的内容自然是展示自家的核心技术，简要来说，英伟达展示了自家产品在企业和数据中心AI、对话式AI和自然语言处理领域的最新技术，以及边缘AI的应用，如机器人、医疗和自动驾驶汽车等。

用Omniverse Avatar来做老黄的AI化身

这次主题演讲的重头戏自然跟外界炒的沸沸扬扬元宇宙难脱关系。英伟达在本次GTC大会上发布了NVIDIA Omniverse——一个用于3D工作流程的虚拟世界模拟和协作平台。其实英伟达在去年12月就发布了Omniverse平台的公开测试版，它可以让创造者在物理精确模拟或3D渲染中进行实时协作。

如今，Omniverse平台再次升级，新发布了Omniverse Avatar和Omniverse Replicator。其中，Omniverse Avatar是一个用于生成交互式AI化身的技术平台。它集合了英伟达在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟技术方面积累的技术，为创建人工智能助手打开了大门，可以帮助处理数十亿的日常客户服务互动。Omniverse Replicator则是一种合成数据生成引擎，可以基于现有数据持续生成用于训练的合成数据。

Omniverse的门户是USD（通用场景描述）黄仁勋认为Omniverse的本质是一个数字虫洞。未来任何计算机都可以连接到Omniverse，并将一个Omniverse世界连接到另一个世界，USD之于Omniverse就像HTML（一种标记语言，可以将网络上的文档格式统一）基于网站。

黄仁勋对Omniverse颇有野心。老黄表示，人们经常说“互联网改变了一切”，在万物互联的当下，互联网本质上是这个世界的数字化表达，这种数字化覆盖了所有2D层面的信息，即文本、语音、图像、视频。如今，随着技术的进一步发展，3D层面的信息也在不断涌现。

在黄仁勋的设想当中，未来会有很多的设计者、创造者在虚拟现实、Metaverse中设计数字事物，然后才在现实世界中去完成设计，包括汽车、包、鞋子等等产品。而此次发布的Omniverse平台，正是拥有着创建全新3D世界或为物理世界建模的技术。

用一句互联网黑话表示，就是所有现实世界中物理存在或不存在的东西，都值得在Omniverse上再做一遍。可这么看来，Omniverse不就和游戏引擎一样了嘛，但老黄说了Omniverse是面向数据中心的规模来设计的，在未来或可能达到全球数据规模，也就是说英伟达的预期是未来的Omniverse能真的为物理世界建模。

当然，让Omniverse中的虚拟物品与物理世界中的人进行实时交互仍存在诸多挑战。黄仁勋表示：“如何使用Omniverse模拟仓库、工厂、物理和生物系统、5G边缘、机器人、自动驾驶汽车，甚至是虚拟形象的数字孪生，是一个永恒的主题。”

接下来黄仁勋展示了Omniverse Avatar结合英伟达各项技术后生产出来的实时应用程序。首先是用于客户支持的Project Tokkio，“Tokkio”是一款智能操作台应用程序，在视频案例中“Tokkio”在一家快餐店服务，与两位顾客直接对话并帮助顾客进行了点餐服务。

基于Omniverse Avatar制作的智能操作台应用程序Tokkio

如果将Omniverse Avatar与Drive Concierge相结合，可爱的自定义行车虚拟助手便出现了。

Omniverse Avatar展示的另一个例子则是老黄自己的AI化身，英伟达的员工们早就开始用老黄的声音构建出了一个会对话的语音合成AIToy-Me——一个玩具AI老黄。不得不说，老黄确实懂得多，玩具版的AI老黄在视频案例中轻松回答了气候、天文、生物三个领域专家的专业问题。

黄仁勋表示：“你会看到这个虚拟形象是基于目前训练的最大语言模型的语言处理打造，包括声音也是用我自己的语音进行合成，还可以看到实时基于光线追踪的精美图像。”

实时对话AI机器人“Toy Jensen Omniverse Avatar”

老黄还将Omniverse Avatar与视频会议平台Maxine相结合，为虚拟协作和内容创建应用添加了音视频功能。在视频案例中，一位女士在嘈杂的咖啡厅中可以视频会议中简单的去除背景噪音后通话，同时，她的英文可以被实时转化为多种语言，并生成对应口型及语调的虚拟形象。

一个看似简单AI数字人其实并不简单，Omniverse Avatar能够如此强大的原因在于其背后英伟达近年来的技术突破，老黄直称在几年前想要实现上述案例的功能几乎不可能。如今，Omniverse Avatar的推荐引擎采用Merlin方案，该框架允许企业能够建立处理大量数据的深度学习推荐系；感知能力则来自计算机视觉框架Metropolis；头像动画由Video2Face和Audio2Face（二维和三维AI驱动的面部动画和渲染技术）驱动。

自动驾驶的老司机Omniverse Replicator

黄仁勋在演讲上发布的另一项产品Omniverse Replicator，已产生了两个用于生成合成数据的应用——NVIDIA DRIVE Sim™、NVIDIA Isaac Sim™。它们分别是用于承载自动驾驶汽车数字孪生的虚拟世界和用于可操纵机器人数字孪生的虚拟世界。

Omniverse Replicator的优势在于它能在一定程度上代替真人来进行昂贵、费力的数据标记工作，同时这些虚拟世界中产生的数据可以涵盖各类不同场景，包括在现实世界中无法经常经历的场景以及极度危险的场景。它还能生成人类难以或无法标记的真值数据，如速度、深度、被遮挡的物体、恶劣的天气条件、追踪各传感器上的物体移动等。当自动驾驶汽车和机器人在系列虚拟环境中得到充分训练后，才会逐渐应用到现实世界当中。

此外，黄仁勋还公布了Omniverse的另外四项功能。Showroom——一个包含演示和示例应用程序，展示了Omniverse核心技术；Farm——一个系统层，用于协调跨多个系统、工作站、服务器和虚拟化批作业处理，可以用于批量渲染，AI合成数据生成或分布式计算；Omniverse AR——可以将将图形串流到手机或者AR眼镜；Omniverse VR——首款全帧交互式光线追踪VR。