1. 首页 > 新鲜事

英伟达黄仁勋:我们给真实世界和元宇宙间建了个穿梭门(假厨房和上次的虚拟老黄都用Omniverse每次G技术)

注:本文来自微信公众号硅星人(ID:guixingren124),作者|洪雨晗老黄家熟悉的厨房又出现了,但这次英伟达不像“虚拟数字人”那次卖关子,在11月9日GTC大会(GPUTechnologyConference)主题演讲开始后不久,厨房开始逐渐模糊。是的,人是真的,但厨房是假的!场景变成了英伟达大楼。这个假厨房和上次的虚拟老黄都用Omniverse每次G技术英伟达TC新闻发布会总是会给人们带来很多惊喜。在会议正式开始之前,英伟达的股价上周开始上涨。许多投资者认为,这次会议可能会突出英伟达今年的受欢迎程度“元宇宙”主题下的机会应该是英伟达擅长的GPU对于元宇宙来说,相当于锂电池对于新能源汽车。虽然老黄在一个半小时多的主题演讲中并没有故意强调元宇宙的概念,但在这次会议上,确实有许多新技术产品背后都有元宇宙的影子。首先,老黄的整个主题演讲实际上都想传达一个核心概念——推广A的英伟达I在各行各业的发展过程中发挥着关键作用。这一概念的内容自然是展示自己的核心技术,总之,英伟达在企业和数据中心A展示了自己的产品I、对话式AI最新的自然语言处理技术,以及边缘AI使用OmniverseAvatar做老黄AI化身这次主题演讲的重头戏自然跟外界炒的沸沸扬扬元宇宙难脱关系。英伟达在本次GTCN在会议上发布VIDIAOmniverse——一个用于3D虚拟世界模拟与合作平台的工作流程。事实上,英伟达于去年12月发布了Omniverse该平台的公开测试版可以让创造者在物理上精确模拟或3D实时合作渲染。Omniverse平台再次升级,O新发布mniverseAvatar和OmniverseReplicator。其中,OmniverseAvatar用于生成交互式AI化身技术平台。它汇集了英伟达在语音I、积累计算机视觉、自然语言理解、推荐引擎和模拟技术的技术,为创建人工智能助手打开了大门,它可以帮助处理数十亿的日常客户服务互动。OmniverseReplicator它是一种合成数据生成引擎,可以连续生成基于现有数据进行训练的合成数据。Omniverse的门户是USD(黄仁勋认为Omniverse本质是数字虫洞。未来任何计算机都可以连接到Omniverse,一个Omniverse世界与另一个世界相连,USD之于Omniverse就像HTML(基于网站的标记语言可以统一网络上的文档格式。黄仁勋对Omniverse雄心勃勃。老黄说,人们常说“互联网改变了一切”当万物互联时,互联网本质上是世界的数字表达,覆盖了所有2D层次信息,即文本、语音、图像、视频。现在,随着技术的进一步发展,3D层次信息不断涌现。在黄仁勋的假设中,未来会有很多虚拟现实的设计师和创造者、Metaverse设计数字事物,然后才在现实世界中去完成设计,包括汽车、包、鞋子等等产品。而此次发布的Omniverse创建新3的平台D建模世界或物理世界的技术。用互联网黑话来说,现实世界中物理存在或不存在的一切都值得Omniverse再做一遍。但这样看,Omniverse就像游戏引擎一样,但是老黄说Omniverse它是为数据中心的规模而设计的,未来可能会达到全球数据规模,也就是说,英伟达的预期是未来的Omniverse能真正为物理世界建模。当然,让Omniverse虚拟物体与物理世界中的人实时互动仍存在诸多挑战。黄仁勋说:“如何使用Omniverse5.模拟仓库、工厂、物理和生物系统G边缘、机器人、自动驾驶汽车,甚至虚拟图像的数字孪生,都是永恒的主题。”接下来,黄仁勋展示了OmniverseAvatar结合英伟达技术生产的实时应用程序。首先是用于客户支持的ProjectTokkio,“Tokkio”在视频案例中,智能操作台应用程序“Tokkio”在快餐店服务,直接与两位顾客对话,帮助顾客提供点餐服务。基于OmniverseAvatar智能操作台应用程序Tokkio如果将OmniverseAvatar与DriveConcierge结合起来,可爱的自定义驾驶虚拟助手出现了。OmniverseAvatar另一个例子是老黄自己的AI英伟达的员工早就开始用老黄的声音构建语音合成AIToy-Me——一个玩具AI老黄。不得不说,老黄真的知道很多,玩具版AI老黄在视频案例中轻松回答了气候、天文学和生物学专家的专业问题。黄仁勋说:“你会看到这个虚拟图像是基于目前训练中最大的语言模型的语言处理,包括声音,它也是由我自己的声音合成的,你也可以看到基于光跟踪的实时精致图像。”实时对话AI机器人“ToyJensenOmniverseAvatar”老黄还将OmniverseAvatarM与视频会议平台axine相结合,音频和视频功能被添加到虚拟合作和内容创建应用程序中。在视频案例中,一位女士可以在视频会议上简单地删除背景噪音,同时,她的英语可以实时转化为各种语言,并产生相应的口语和语调的虚拟图像。一个看似简单的AI其实数字人并不简单,OmniverseAvatar如此强大的原因是英伟达近年来的技术突破。老黄说,几年前几乎不可能实现上述案例的功能。OmniverseAvatarM是推荐引擎erlin该方案允许企业建立处理大量数据的深度学习推荐系;感知来自计算机视觉框架Metropolis;V.头像动画ideo2Face和Audio2Face(二维和三维AI驱动面部动画和渲染技术)驱动。老司机O自动驾驶mniverseReplicator另一个产品O是黄仁勋在演讲中发布的mniverseReplicator,生成了两个合成数据的应用程序——NVIDIADRIVESim™、NVIDIAIsaacSim™。它们是用来承载自动驾驶汽车数字双胞胎的虚拟世界和用来操纵机器人数字双胞胎的虚拟世界。OmniverseReplicator其优点是,它可以在一定程度上取代真人进行昂贵费力的数据标记,同时,这些虚拟世界产生的数据可以涵盖各种不同的场景,包括现实世界中无法经历的场景和极其危险的场景。它还可以生成速度、深度、被遮挡的物体、恶劣的天气条件、跟踪传感器上的物体移动等人类难以或无法标记的真实自动驾驶汽车和机器人在一系列虚拟环境中得到充分训练时,它们将逐渐应用于现实世界。此外,黄仁勋还宣布了Omniverse另外四个功能。Showroom——一个包含演示和示例应用程序,显示Omniverse核心技术;Farm——一个系统层,用于协调跨多个系统、工作站、服务器和虚拟化批作业处理,可以用于批量渲染,AI合成数据生成或分布式计算;OmniverseAR——将图形串流到手机或AR眼镜;OmniverseVR——首款全帧交互光跟踪VR。英伟达对Omniverse期待远不止于此,英伟达还将使用Omniverse构建数字孪生模型来模拟和预测气候变化。黄仁勋说:“可以说,预测气候变化,制定减缓和适应策略,是当今社会面临的最大挑战之一。”英伟达最后一台超级电脑是Cambridge-现在用来模拟和预测气候变化的新型超级计算机将被称为E-2(EarthTwo),意思是地球上的数字孪生,它可以在Omniverse以数百万倍的速度运行Modulus创建的AI物理模型。NVIDIACambrigde-1中的GPU在主题演讲结束时,黄仁勋说,人类需要采取行动来缓解和适应当今日益频繁的极端天气“E是我们目前发明的所有技术arthTwo我想不出比这更宏伟、更重要的用途了。”

注:本文来源于微信公众号硅星人(ID:guixingren124),作者|洪雨晗  

老黄家熟悉的厨房又出现了,不过这次英伟达没有像“虚拟数字人”那次卖关子,在11月9日GTC大会(GPUTechnologyConference)的主题演讲开始不久厨房就开始逐渐虚化,对,人真了但厨房是假的!场景转换为英伟达大楼。

这次的假厨房和上次的虚拟老黄用到的都是Omniverse技术

英伟达的每次GTC发布会总能给人带来不少惊喜。在大会正式开始之前,英伟达股价在上周便开始应声而涨。有不少投资者认为此次大会可能会凸显英伟达在今年火爆的“元宇宙”主题下的机遇,应为英伟达所擅长的GPU之于元宇宙,就相当于锂电池之于新能源车。虽然老黄在一个半小时多的主题演讲里没有太刻意去强调元宇宙的概念,但本次大会中,确实有不少新技术产品的背后都有元宇宙的影子。

先下结论,老黄的整个主题演讲其实就想传达一个核心观念——英伟达在推进AI在各行各业发展的过程中扮演了关键角色。串起这个观念的内容自然是展示自家的核心技术,简要来说,英伟达展示了自家产品在企业和数据中心AI、对话式AI和自然语言处理领域的最新技术,以及边缘AI的应用,如机器人、医疗和自动驾驶汽车等。

用OmniverseAvatar来做老黄的AI化身

这次主题演讲的重头戏自然跟外界炒的沸沸扬扬元宇宙难脱关系。英伟达在本次GTC大会上发布了NVIDIAOmniverse——一个用于3D工作流程的虚拟世界模拟和协作平台。其实英伟达在去年12月就发布了Omniverse平台的公开测试版,它可以让创造者在物理精确模拟或3D渲染中进行实时协作。

如今,Omniverse平台再次升级,新发布了OmniverseAvatar和OmniverseReplicator。其中,OmniverseAvatar是一个用于生成交互式AI化身的技术平台。它集合了英伟达在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟技术方面积累的技术,为创建人工智能助手打开了大门,可以帮助处理数十亿的日常客户服务互动。OmniverseReplicator则是一种合成数据生成引擎,可以基于现有数据持续生成用于训练的合成数据。

Omniverse的门户是USD(通用场景描述)黄仁勋认为Omniverse的本质是一个数字虫洞。未来任何计算机都可以连接到Omniverse,并将一个Omniverse世界连接到另一个世界,USD之于Omniverse就像HTML(一种标记语言,可以将网络上的文档格式统一)基于网站。

黄仁勋对Omniverse颇有野心。老黄表示,人们经常说“互联网改变了一切”,在万物互联的当下,互联网本质上是这个世界的数字化表达,这种数字化覆盖了所有2D层面的信息,即文本、语音、图像、视频。如今,随着技术的进一步发展,3D层面的信息也在不断涌现。

在黄仁勋的设想当中,未来会有很多的设计者、创造者在虚拟现实、Metaverse中设计数字事物,然后才在现实世界中去完成设计,包括汽车、包、鞋子等等产品。而此次发布的Omniverse平台,正是拥有着创建全新3D世界或为物理世界建模的技术。

用一句互联网黑话表示,就是所有现实世界中物理存在或不存在的东西,都值得在Omniverse上再做一遍。可这么看来,Omniverse不就和游戏引擎一样了嘛,但老黄说了Omniverse是面向数据中心的规模来设计的,在未来或可能达到全球数据规模,也就是说英伟达的预期是未来的Omniverse能真的为物理世界建模。

当然,让Omniverse中的虚拟物品与物理世界中的人进行实时交互仍存在诸多挑战。黄仁勋表示:“如何使用Omniverse模拟仓库、工厂、物理和生物系统、5G边缘、机器人、自动驾驶汽车,甚至是虚拟形象的数字孪生,是一个永恒的主题。”

接下来黄仁勋展示了OmniverseAvatar结合英伟达各项技术后生产出来的实时应用程序。首先是用于客户支持的ProjectTokkio,“Tokkio”是一款智能操作台应用程序,在视频案例中“Tokkio”在一家快餐店服务,与两位顾客直接对话并帮助顾客进行了点餐服务。

基于OmniverseAvatar制作的智能操作台应用程序Tokkio

如果将OmniverseAvatar与DriveConcierge相结合,可爱的自定义行车虚拟助手便出现了。

OmniverseAvatar展示的另一个例子则是老黄自己的AI化身,英伟达的员工们早就开始用老黄的声音构建出了一个会对话的语音合成AIToy-Me——一个玩具AI老黄。不得不说,老黄确实懂得多,玩具版的AI老黄在视频案例中轻松回答了气候、天文、生物三个领域专家的专业问题。

黄仁勋表示:“你会看到这个虚拟形象是基于目前训练的最大语言模型的语言处理打造,包括声音也是用我自己的语音进行合成,还可以看到实时基于光线追踪的精美图像。”

实时对话AI机器人“ToyJensenOmniverseAvatar”

老黄还将OmniverseAvatar与视频会议平台Maxine相结合,为虚拟协作和内容创建应用添加了音视频功能。在视频案例中,一位女士在嘈杂的咖啡厅中可以视频会议中简单的去除背景噪音后通话,同时,她的英文可以被实时转化为多种语言,并生成对应口型及语调的虚拟形象。

一个看似简单AI数字人其实并不简单,OmniverseAvatar能够如此强大的原因在于其背后英伟达近年来的技术突破,老黄直称在几年前想要实现上述案例的功能几乎不可能。如今,OmniverseAvatar的推荐引擎采用Merlin方案,该框架允许企业能够建立处理大量数据的深度学习推荐系;感知能力则来自计算机视觉框架Metropolis;头像动画由Video2Face和Audio2Face(二维和三维AI驱动的面部动画和渲染技术)驱动。

自动驾驶的老司机OmniverseReplicator

黄仁勋在演讲上发布的另一项产品OmniverseReplicator,已产生了两个用于生成合成数据的应用——NVIDIADRIVESim™、NVIDIAIsaacSim™。它们分别是用于承载自动驾驶汽车数字孪生的虚拟世界和用于可操纵机器人数字孪生的虚拟世界。

OmniverseReplicator的优势在于它能在一定程度上代替真人来进行昂贵、费力的数据标记工作,同时这些虚拟世界中产生的数据可以涵盖各类不同场景,包括在现实世界中无法经常经历的场景以及极度危险的场景。它还能生成人类难以或无法标记的真值数据,如速度、深度、被遮挡的物体、恶劣的天气条件、追踪各传感器上的物体移动等。当自动驾驶汽车和机器人在系列虚拟环境中得到充分训练后,才会逐渐应用到现实世界当中。

此外,黄仁勋还公布了Omniverse的另外四项功能。Showroom——一个包含演示和示例应用程序,展示了Omniverse核心技术;Farm——一个系统层,用于协调跨多个系统、工作站、服务器和虚拟化批作业处理,可以用于批量渲染,AI合成数据生成或分布式计算;OmniverseAR——可以将将图形串流到手机或者AR眼镜;OmniverseVR——首款全帧交互式光线追踪VR。

英伟达对Omniverse的期待远不止于此,英伟达还将利用Omniverse来构建一个数字孪生模型来模拟和预测气候变化。黄仁勋表示:“预测气候变化,以制定减缓和适应策略,可以说是当今社会面临的最大挑战之一。”

英伟达的上一台超级计算机是Cambridge-1,而如今用来模拟和预测气候变化的这台新的超级计算机将叫做E-2(EarthTwo),寓意为地球的数字孪生,它能够在Omniverse中以数百万倍的速度运行Modulus创建的AI物理模型。

NVIDIACambrigde-1中的GPU

在主题演讲最后,黄仁勋表示人类需要在为时已晚之前采取行动缓解和适应当今越来越频繁的极端天气,而“我们目前发明的所有技术,均是实现EarthTwo所必不可少的,我想不出比这更宏伟、更重要的用途。”

本文由早VC·元宇宙世界为您分享,内容源于网络搜集整理,版权归原作者所有,,转载联系作者并注明出处:http://www.zaovc.com/news/597.html

联系我们

在线咨询:点击这里给我发消息

微信号:qq12345678

工作日:9:30-18:30,节假日休息