1. 首页 > 新鲜事

三个“丁磊”同时出现,网易元宇宙初落地|钛度专访(网易伏羲沉浸式活动系统举行瑶台上设置元宇宙分会场)

在网易云音乐的上市仪式上,有三个丁磊,2000年和2021年的虚拟人“丁磊”和现实中的丁磊一起敲锣。12月2日,网易云音乐在港交所上市,网易创始人兼CEO丁磊迎来了他人生的第四次IPO敲钟仪式。除了线下上市仪式外,网易云音乐还在网易伏羲沉浸式活动系统中举行“瑶台”上设置了“元宇宙“分会场。世界上第一个元宇宙上市仪式复制了线下黑胶签到、大事件墙、音乐人墙等布局。与会者可以创建“数字分身”还可以和2000年和2021年的两个虚拟人一起进入虚拟礼堂观看礼物“丁磊”互动照片。2021年可以说是元宇宙的第一年,巨头们宣布了公司对元宇宙的关注和部署,元宇宙已经成为一流市场的热门轨道。回到美国游戏公司,它最初将元宇宙添加到招股说明书中Roblox引用概念来源——尼尔,美国科幻小说家·史蒂芬森在科幻小说《雪崩》中描述的Metaverse(元宇宙),首先,元宇宙应该是一个身临其境的虚拟世界。这些科技巨头的部署也围绕着构建身临其境的虚拟世界所需的元素和技术展开。12月4日,在杭州举行的网易创新企业会议上,网易首次宣布了下一代面向元宇宙的互联网技术结构,并推出了伏羲人工智能实验室开发的身临其境活动系统“瑶台”和虚拟人SDK(软件开发工具包)“有灵”,这表明网易已经开始探索元宇宙。作为网易元宇宙的前哨站,网易伏羲实验室成立于2017年9月。到目前为止,它已经发表了80多篇关于人工智能顶级会议的论文,提交了200多项专利,服务了100多名客户,平均每天呼叫数亿次。APP近日,网易伏羲联合负责人李仁杰进行了专访,深入探讨“伏羲元宇宙”。虚拟人,元宇宙的必要组成部分,一直是网易伏羲的重要研究方向之一。李仁杰说,虚拟人必须是未来游戏和元宇宙的必要组成部分。首先,虚拟人需要形象,伏羲的智能捏脸系统在用户提供照片后,可以将照片中的图像变成虚拟世界中的三维模型。(关于智能捏脸,APP我采访了伏羲的智能捏脸师,深入探讨了智能捏脸技术。详情请参阅文章《我是智能捏脸师,把人类上传到虚拟世界,打开它AI的“眼睛”|新的职业研究所)智能捏脸是发型和身体的生成,系统也可以根据身体的照片进行建模。在拥有图像后,虚拟人需要表达能力,即自然语言的处理。当他说话时,表达和动作也应该是自然和生动的。目前,虚拟人的表达和动作制作主要有两种方法,一种是好莱坞电影中常用的方法。让演员穿上紧身衣,贴上关键点,然后将表达和动作转移到角色上。另一种方法是,当人们站在摄像头前时,系统可以自动识别关键点,将表达和动作转移到虚拟人。目前的虚拟现场直播大多使用这种技术,但问题仍然需要“中之人”表演。元宇宙发展后,可能需要数千万虚拟人为人类服务,所以伏羲现在所做的就是让虚拟人能够通过文本或语音驱动,即输入一段文本或语音,虚拟人能够自动做出表达和动作。伏羲还为虚拟人增加了智能歌唱、智能舞蹈、智能诗歌写作等娱乐功能。此外,经过加强学习,虚拟人也可以有自己的行为决策。伏羲已经在游戏中登陆了战斗机器人,并可以通过训练与玩家自由战斗。伏羲还探索了虚拟人的情感和个性。在《鬼故事》手机游戏中,玩家可以通过互动培养不同个性的智能儿童。总的来说,伏羲希望在整个链接中对虚拟人有一些探索和突破目前推出“有灵”虚拟人SDK包括3D智能捏脸、3D动画合成、语音合成等多个模块,使用户能够独立制作虚拟数字人,降低使用门槛。虚拟人也将继续应用于瑶台,如新手教学、虚拟人类指南等。对现实世界进行有益的补偿“希望利用现有技术,伏羲开发瑶台线上活动系统,弥补传统线上交流系统与线下的差距,它甚至可以利用在线优势实现许多离线无法实现的事情。”李仁杰说,由于疫情的影响,每个人都经历了一段时间的家庭办公,许多远程交流和远程会议系统出现在每个人的工具栏中。这些系统提高了我们的工作效率,但与线下相比,在线交流仍然存在一些缺陷,无法满足人们的仪式感、沉浸感和社会需求。例如,在网易云音乐上市的敲锣仪式上,普通的在线会议系统很难满足每个人聚在一起举行仪式的需要。在身临其境的部分,当线下人们沉浸在场地的布局和氛围中时,他们自然会比坐在家里有更多的感受。在这种线下仪式或会议中,人们通常因为工作或公司业务而有一些社会需求。然而,在传统的在线会议系统中,人们很难进行社交活动。事实上,大多数演讲者打开摄像头并分享它们PPT,听众之间没有交流,甚至不知道和谁一起参加会议。在瑶台,用户操作虚拟图像参加会议,体验会更像线下。用户可以与其他虚拟人员互动和聊天。为了使社会参与的形式更接近现实,伏羲开发了FluidChat两个相似的人可以在没有朋友的情况下聊天。例如,在学术会议上,只要进入Poster在周围两米的区域,摄像头会自动打开,也就是说,该区域的人会自动形成一个聊天小组,当用户离开小组时,它会自动消失。当摄像头打开时,瑶台还增加了表达迁移和动作迁移的功能,用户在摄像头前做的动作和表达将实时反映在其虚拟图像上。对于会议组织者,瑶台还设计了活动策划系统,以提高使用体验,包括会议日程安排、分会场规划和参与者反馈收集。在建设瑶台的过程中,伏羲克服了许多技术困难,如如如何将视频流放入虚拟世界PPT,与数百人在同一场景中同时在线不卡住或延迟。由于瑶台本身的客户体积较大,为了方便用户使用,瑶台还配备了云游戏技术。用户可以在网页版本中进入会议,而无需下载。所有游戏的操作和计算能力需求都由服务器承载。目前,用户体验可以实现网页版本和客户端之间几乎没有体验差异。“瑶台系统和MMORPG虚拟世界的区别在于,与游戏世界中设置的任务和情节不同,在瑶台,我们更希望实现对现实世界的补充。在瑶台做的一些事情实际上对现实很有帮助。”李仁杰说。目前,瑶台更注重会议、展览和各种活动,然后扩大活动类型。例如,瑶台更有可能举办音乐会、家庭聚会或剧本杀戮。当伏羲积累的技术、生产资源和数字资产越来越多时,伏羲希望瑶台能成为一个开放的平台。未来,瑶台希望用户也能建立自己的场景,生产更多UGC内容。一方面,用户可以利用系统提供的材料,另一方面,伏羲也在研究场景的三维重建和物体的三维重建,将真实环境和物体移植到虚拟世界中。当用户拍摄几张真实物体的照片时,系统可以自动在瑶台生成物体的三维模型。网易元宇宙来自“瑶台”首先,虚拟世界是元宇宙的基本元素,不论是人参与的虚拟世界,还是在工业生态中,必然都是需要进行大量3D建模。如此巨大的需求,如果仍然使用人工方法复制,它将非常低效,只能使用智能方法来提高效率和生产力。对于伏羲人工智能技术在元宇宙中的发挥空间,伏羲最初的发展愿景实际上非常符合元宇宙的概念。2017年,伏羲人工智能实验室的目标和初衷是将人工智能与游戏相结合,帮助释放创作者的生产力,创新玩家的游戏体验。在游戏中实施了大量成熟的技术后,伏羲希望将这种身临其境的互动体验带到各个领域,丰富每个人的精神世界。“我们很高兴我们很久以前就在探索这样一个领域,目前有很多积累。伏羲将继续使我们的技术生根发芽AI赋能游戏等产品。”李仁杰说。瑶台在线活动系统实际上是伏羲在元宇宙概念出现之前开始的一个项目。“瑶台的诞生是因为我们希望现实世界解决具体问题,我们希望把这种新的体验带到其他产品中去做更多的尝试。”李仁杰说,瑶台可以说是伏羲探索元宇宙的一个试点起点。至于元宇宙未来最有可能以何种形式首次登陆,李仁杰表示,元宇宙的中心点仍然是对现实世界的有益补充。如果我们只是创造一个虚拟世界,它可能与当前的游戏没有什么不同。作为一个真正的自然人,人们的主要活动包括学习、工作和娱乐。在学习方面,元宇宙可能与教育相结合。今天,人们主要依靠书籍来学习。如果他们进行身临其境的教学,比如让学生体验历史和地理环境,而不是死记硬背,他们可能会学得更快。在工作中,通过元宇宙,我们可以更好地远程、高效地工作。例如,数字孪生物理模拟和工业机器人也是一个很好的应用场景。在娱乐方面,有身临其境的音乐、电影和游戏。如何通过元宇宙更好地宣传我们的中国文化也是一条值得探索的道路。李仁杰还说,元宇宙的未来一定是百花齐放的第一定是一个很好的应用场景。至于最断最终会发生什么。(本文首发。APP,作者|编辑李如嘉|天鹏)

在网易云音乐的上市仪式中,同时出现了三个丁磊,2000年和2021年的虚拟人“丁磊”和现实中的丁磊一同敲锣。

12月2日,网易云音乐在港交所挂牌上市,网易创始人兼CEO丁磊迎来了他人生的第四次IPO敲钟仪式。除了在线下举办上市仪式之外,网易云音乐还在网易伏羲沉浸式活动系统“瑶台”上设置了“元宇宙“分会场。

这场全球首个元宇宙上市仪式复刻了线下的黑胶签到、大事件墙、音乐人墙等布置,参会嘉宾可以创建“数字分身”进入虚拟礼堂进行观礼,还可以和2000年和2021年的两个虚拟人“丁磊”进行互动合影。

2021年可以说是元宇宙元年,巨头纷纷宣布公司对于元宇宙的关注和部署,元宇宙成为了一级市场炙手可热的赛道。回归到最初将元宇宙添加进招股书中的美国游戏公司Roblox引用的概念来源——美国科幻小说家尼尔·史蒂芬森在其科幻小说《雪崩》中描述的Metaverse(元宇宙),首先元宇宙应该是一个沉浸式的虚拟世界。这些科技巨头们的部署,也都围绕着构建沉浸式虚拟世界所需要的元素和技术展开。

12月4日在杭州举办的网易创新企业大会上,网易首次公布其面向元宇宙的下一代互联网技术架构,并推出网易伏羲人工智能实验室研发的沉浸式活动系统“瑶台”和虚拟人SDK(软件开发工具包)“有灵”,昭示网易已开启对于元宇宙的探索。

作为网易元宇宙的前哨站,网易伏羲实验室成立于2017年9月,迄今已发表80余篇人工智能顶会论文,提交200多项专利,服务100多家客户,应用日均调用上亿次。APP近日对网易伏羲联席负责人李仁杰进行了专访,深度探讨“伏羲元宇宙”。

虚拟人元宇宙的必要组成部分

虚拟人,一直是网易伏羲的重要研究方向之一。

李仁杰表示,虚拟人在未来不论是在游戏还是元宇宙中,一定是一个必要的组成部分。首先虚拟人需要有形象,在用户提供一张照片之后,伏羲的智能捏脸系统可以把照片中的形象变成在虚拟世界里的三维模型。(关于智能捏脸,APP曾经采访过伏羲的智能捏脸师,深入探讨智能捏脸技术,详情请见文章《我是智能捏脸师,把人类上传到虚拟世界,也打开了AI的“眼睛”|新职业研究所》)

智能捏脸之后是发型和身体的生成,系统也可以根据身体的照片去进行建模。在拥有形象之后,虚拟人需要表达能力,即自然语言方面的处理。而在他说话的时候,表情和动作也要做到自然生动。

目前虚拟人的表情和动作制作主要有两种办法,一种好莱坞电影经常用的方法。让演员穿上紧身服,在身上贴关键点,然后把表情和动作迁移到角色上。另一种方式是人站在摄像头前,系统就可以自动识别关键点去迁移表情和动作到虚拟人上,目前的虚拟直播大多使用这种技术,但问题是依然需要“中之人”去进行表演。当元宇宙发展之后,可能需要上千万虚拟人为人类进行服务,那么伏羲现在做的,就是让虚拟人可以通过文字或者语音进行驱动,即输入一段文字或者语音,虚拟人就可以自动做出表情和动作。

伏羲也为虚拟人添加了娱乐功能,比如智能演唱、智能舞蹈、智能写诗等。更进一步,经过强化学习,虚拟人也可以有自己的行为决策,伏羲已经在游戏中落地战斗机器人,可以经过训练与玩家进行自由对战。在虚拟人的感情和个性方面,伏羲也有过探索,在《倩女幽魂》手游中,玩家可以通过互动培养出不同性格的智能小孩。

整体来看,伏羲希望在全链路上都可以对虚拟人有一些探索和突破,目前推出的“有灵”虚拟人SDK包括3D智能捏脸、3D动画合成、语音合成等多个模块,使用户能够自主制作虚拟数字人,降低使用门槛。虚拟人技术也会继续在瑶台中进行应用,比如新手教学,虚拟人导览等等。

做现实世界的有益补偿

“伏羲开发瑶台线上活动系统,是希望利用已有的技术,来弥补传统线上交流系统和线下的差距,甚至能利用线上的优势去达到很多线下无法实现的事情。”

李仁杰介绍道,因为疫情的影响,大家多少都经历了一段时间的居家办公,有很多远程交流和远程会议系统出现在了大家的工具栏。这些系统提高了我们的工作效率,但是比起线下,在线交流依然具有部分缺陷,无法满足人们对于仪式感、沉浸感和社交需要。

例如这次网易云音乐上市的敲锣仪式,普通的线上会议系统很难满足大家对于聚集在一起,举办一个典礼的仪式感的需求。在沉浸感的部分,当线下大家沉浸于会场的布置和气氛中的时候,比起坐在家里自然会有更多感触。而在这类线下仪式或者大会中,人们通常也因为工作或者公司业务开展有一些社交的需要。但是传统的线上的会议系统中人们很难进行社交活动,实际情况大多是演讲者开摄像头、分享PPT,而听讲者之间不会有交流,甚至不知道和谁一起参加了会议。

在瑶台中,用户操作虚拟形象进行参会,体验感会更类似于线下。用户可以和其他虚拟人互动、聊天。为了使社交参与的形式更接近于现实,伏羲开发了Fluid Chat的功能,距离相近的两人无需加好友即可展开聊天。例如在学术会议中,只要进入Poster周围两米的区域,摄像头就会自动打开,即在这个区域里的人自动形成了一个聊天小组,当用户离开小组就自动消失。在摄像头打开的时候瑶台还加入了表情迁移和动作迁移的功能,用户在摄像头前做出的动作和表情会实时反映到其虚拟形象上。

对会议组织方来说,瑶台也设计了活动策划系统来提升使用体验,包括会议日程安排,分会场规划和参会者反馈收集等功能。

在构建瑶台的过程中,伏羲攻克了许多技术难点,例如如何在虚拟世界放入视频流、播放PPT,和几百人在一个场景同时在线不卡顿、延迟。由于瑶台本身客户端体积较大,为了方便用户使用,瑶台还搭载了云游戏的技术,用户不用下载即可在网页版进入会议,所有游戏的运行和算力需求由服务器承载。目前用户体验已经可以达到网页版和客户端几乎不存在体验上的区别。

“瑶台系统和MMORPG里面构建的虚拟世界区别在于,不同于游戏世界中已经设定好的任务和剧情,在瑶台里面,我们更希望是做的实现对真实世界的一个补足,在瑶台里做的一些事情实际上对现实是有帮助的。”李仁杰表示。

目前瑶台在关注的方向还是会议、会展,然后以及各种类型的活动,之后在活动类型方面也会有一些拓展。比如举办演唱会,家庭聚会,或者剧本杀,瑶台拥有更多可能性。当伏羲积累的技术,以及生产资源和数字资产越来越多的时候,伏羲希望瑶台可以成为一个开放的平台。

未来瑶台希望用户也可以自己搭建场景,生产更多UGC内容。用户一方面可以利用系统提供的素材,另一方面伏羲也正在研究场景的三维重建以及物体的三维重建,去把真实环境和物体移植到虚拟世界中。用户拍摄几张真实物体的照片,系统就可以自动建模,在瑶台里生成物体的三维模型进行使用。

网易元宇宙从“瑶台”开始

李仁杰表示,人工智能是元宇宙非常重要的一环。首先虚拟世界是元宇宙的基本元素,不论是人参与的虚拟世界,还是在工业生态中,必然都是需要进行大量3D建模。这样一个庞大的需求量,如果依然使用人工的方法去复制,就会非常低效,只能够用智能的方式去提高效率和生产力。

对于伏羲的人工智能技术在元宇宙的发挥空间,伏羲原本的发展愿景其实就与现在元宇宙的概念非常契合。伏羲人工智能实验室在2017年成立当时的目标和初衷是希望把人工智能和游戏相结合,从而帮助释放创作者的生产力、革新玩家的游戏体验。在游戏中做了很多成熟的技术落地之后,伏羲希望可以把这种沉浸式的交互体验带到各个领域,去丰富每一个人的精神世界。

“我们很庆幸很早之前就在探索这样的一个领域,目前也有了不少的积累。伏羲以后会继续去让我们的技术生根发芽,用AI为游戏和其他的产品赋能。”李仁杰说道。

瑶台线上活动系统其实也是元宇宙概念还未出现的时候,伏羲就开始进行的一个项目。“瑶台的诞生是因为我们希望能为真实世界解决具体的问题,我们希望把这种新的体验也能带到其他的产品中,去做一些更多的尝试。”李仁杰表示,瑶台可以说是作为伏羲探索元宇宙的一个尝试性起点

对于元宇宙未来最可能最先以什么样的形式落地,李仁杰说道,元宇宙的中心点还是对真实世界的有益补充,如果我们只是去创建一个虚拟世界,其实可能和现在的游戏没有区别。作为一个真实的自然人,人们主要的活动有学习、工作还有娱乐。

在学习的方面,元宇宙可能会和教育结合,今天人们学习主要靠书本,如果进行沉浸式教学,比如让学生亲身体验历史和地理环境,而不是死记硬背,大家可能会学得更快。到工作中,通过元宇宙的方式让大家更好地远程高效工作,还有比如说工业方面的数字孪生物理模拟和机器人等等,也都是很好的应用场景。在文娱方面,有沉浸式的音乐、电影、游戏,怎么能通过元宇宙这种方式更好地宣传我们中国文化也是非常值得去探索的一条路。

李仁杰还表示,元宇宙的未来一定首先是一个百花齐放的局面,至于最后会出现怎样的结果,现在还很难去判断。

(本文首发APP,作者|李如嘉,编辑|天鹏)

本文由早VC·元宇宙世界为您分享,内容源于网络搜集整理,版权归原作者所有,,转载联系作者并注明出处:http://www.zaovc.com/news/646.html

联系我们

在线咨询:点击这里给我发消息

微信号:qq12345678

工作日:9:30-18:30,节假日休息