查看原文
其他

英伟达 Omniverse平台迭代进展:媒体娱乐、AECO行业的应用已跑通,创作者从传统UGC拥抱AIGC是趋势

东西文娱 2022-07-31

The following article is from 共同虚拟 Author 共同虚拟



NVIDIA的实时3D设计协作和虚拟世界仿真平台Omniverse现已正式发布。

 

在今年年初的CES展会上,NVIDIA宣布了对Omniverse Machinima和Omniverse Audio2Face平台的更新,Nucleus Cloud和3D市场等全新平台功能以及生态系统更新。

 

围绕此次更新,NVIDIA近日举行了线上沟通会。在会上,NVIDIA高级解决方案架构师宋毅明和NVIDIA中国区Omniverse业务发展经理何展,分享了Omniverse平台迭代的进展,以及这背后的推演逻辑。

 

宋毅明表示,新功能更新都是NVIDIA根据客户行业的痛点,再结合自身底层软硬件技术,通过Omniverse以平台化的方式提供相应的工具。

 

目前,Omniverse主要包含五大APP:Create(加速3D世界建筑设计)、View(可视化应用程序)、Audio2Face(AI驱动面部动画制作工具)、Isaac Sim(机器人模拟开发平台)和DRIVE Sim(高保真仿真工具),针对不同的行业和用户。

 

随着虚实共生时代的到来,全球各行业各领域对数字内容创作的需求正在攀升。在何展看来,Omniverse作为云原生平台,可以对接未来更多的数字化需求。“Omniverse既是现有使用习惯下的技术平台,同时兼顾未来技术应用的拓展。”

 


   


从Omniverse迭代
看行业的新需求、新动向

 

自2019年GTC大会上提出Omniverse以来,NVIDIA一直为该平台注入新功能。


此次更新的功能包括Omniverse Nucleus Cloud(一键协作式3D大型场景协同创作模式)、3D市场和数字素材库、Omniverse Machinima(制作游戏动画的工具)和Omniverse Audio2Face(AI驱动面部动画制作工具)。

 

之所以选择投入这些方向,宋毅明表示,这是NVIDIA根据客户行业的痛点,再结合自身底层软硬件技术,通过Omniverse整个平台为客户提供工具。这意味着最终呈现在Omniverse上的功能,很大程度上反映了数字内容创作行业对工具平台的阶段性需求。

 

以Audio2Face为例,该工具由AI技术构建而成,只需一条旁白音轨或任何其他音源,就能立即为数字人生成富有表现力的面部动画。

 


宋毅明介绍,此前很多美术人员在做面部动画时,光渲染就会耗费大量时间,还面临着软件不兼容的问题。因而NVIDIA投入开发Audio2Face功能,借助AI技术解决传统美术的大量重复性劳动,加速工作流程。

 

类似地,除了Audio2Face,Omniverse的其他主要功能也分别对应不同的行业需求。

 

其中,Create偏向于设计人员,用于加速高级场景合成。View偏向于预览,建筑设计师的总管或者甲方的审核人员可以通过View观察所有设计师协同工作,快速推出具有效果图板的渲染场景。Isaac Sim用于强化学习和AI图像的仿真。DRIVE Sim则是面向新一代自动驾驶汽车行业的仿真软件。

 

何展表示,Omniverse是存在于软件之下的平台工具,相当于一个技术底座,或者一个工具箱。“如果想用传统的专业图形可视化技术,那么就去工具箱里拿对应的工具,要是想用AI就去找对应的AI工具。”

 

在这一角度下,Omniverse更多是帮助行业用户协同设计、轻量化设计,能够在遵循物理学定律的前提下,更好更逼真地把整个数字世界复现出来。何展表示,“无论是汽车还是工业机器人,再到科学计算、验证、仿真、科研,还是楼宇建筑、游戏创建、产品设计,以及我们经常谈到的娱乐、电影各项内容的制作,Omniverse方方面面都涉及到了。”

 

通过功能的不断迭代,Omniverse进一步提升平台的扩展性,触及更多更细分的行业用户需求。目前,Omniverse还是沿着既定的路线图推进,第一步是面向媒体娱乐行业和AECO(建筑、工程、施工和运营)行业推出。何展表示,这一阶段已完成,行业各类软件已打通。

 

之后,Omniverse会在仿真领域、无人驾驶以及需要图形、计算和AI融合的各个领域一步步渗透。

 


   


Omniverse对3D虚拟创作的支持

 

当下,3D虚拟创作领域有众多的工具支持,并且这些工具的切入角度也有差异。既有传统的游戏引擎,也有大众化的通用软件,还有AI、XR等新技术下的工具化产品。

 

在这一领域,宋毅明表示,Omniverse的做法更多是通过USD这种通用的数据语言把所有软件打通。“大家可以在Omniverse进行协同开发,利用Omniverse的底层技术快速进行渲染。”

 

而基于USD格式,正是为了解决3D虚拟创作领域的核心痛点,即非统一标准的数据格式。

 

宋毅明表示,“数字内容创作领域需要的内容非常多,比如Maya、3ds Max或者Substance、UE。之前在不同软件中都是非标准的数据格式,创作者需要在这些软件之间反复导入导出,只要进行更改数据就要导出给下一个软件。”

 

与此同时,3D虚拟创作过程往往还涉及协同工作和大数据处理。宋毅明表示,“真正工厂领域数据的仿真量是非常巨大的,传感器和各种模型、车辆发动机里面都是数据,所有数据链条更改流动确实需要一个整体的解决方案。”

 

为此,Omniverse采用USD去解决上述生产效率问题。宋毅明表示,USD数据解决方案可以大幅度简化大数据打开软件的时间和更改的时间。“我们在月球项目中,借助USD这样的整体数据方案,整个效率提升了五六倍,建筑领域效率提升会更加明显。”

 


实际上,海内外已有不少支持3D虚拟内容创作的UGC平台。而此前集中在行业端的Omniverse也在今年年初面向个人创作者推出免费版。个人用户可以在Omniverse平台上调用NVIDIA的相关免费的插件和套件,完成自己作品的设计或者创作。

 

由于Omniverse是开放平台,意味着用户可以在平台上进行二次开发。无论是企业用户还是个人用户,Omniverse都有针对性的二次开发的插件。在原有的插件基础上去做改变,以适应自己的创作流程。这些其实都跟UGC有所关联。

 

在何展看来,UGC已经发展了很长时间,“现在我们更想要快速工业化生产的平台,让大家能够从AI红利获得更好的益处。”

 

例如数字资产传统的实现方式是先用三维设计软件把造型画出来,然后按照流程填材质、纯度、产品设计全走一套。数字人领域也是一样,通过传统CG来做动作捕捉和绑定,然后制作动画。何展表示,很多这样的传统设计流程中,最大的障碍是成本一直都居高不下。“核心在于需要一个新的技术赋能进来。”

 

在何展看来,NVIDIA更想让未来创建数字产业、数字虚拟人、数字3D环境的这些设计师和艺术家,能够从传统的UGC概念跳出来,更多地去看引入AIGC的潜力。

 

很多平台都在往这个方向转变,何展表示,“核心驱动力在于我们的技术落地已经非常成熟,现在的市场对数字化的需求与日俱增,所有的这些数字内容生产的平台急需一个变革性的工具。加上新冠疫情让数字化、虚拟化的需求井喷式的增长等多方面的原因,大家都会往这方面去走。”

 



后续看点

 

何展表示,Omniverse既是现有使用习惯下的技术平台,同时兼顾未来技术应用的拓展。

 

以数字人为例,把数字人做的逼真不是Omniverse追求的最终结果,重要的是如何让数字人有更多的应用场景。比如能进行直播或者产品代言,或者更长远的具备一定的性格和专业技能。

 

在何展看来,创作者其实已经看到了未来的发展方向。但在技术迭代过程中,现有的数字内容创作软件只能做到前半段,“而Omniverse已经把未来后半段的东西,甚至再靠后的前沿性技术研发考虑进来了。”

 

但实际上,工具层面的突破相当于从0到1的难度。何展表示,Omniverse正处于0.2、0.3的阶段。“即便没有到1,个别应用已经有很多的提升。尤其是效率的提升,不然无法和生态系统对接。”

 


何展提到,一个小的SDK让大家熟知就会带动更多的开发者。比如NVIDIA推出Audio2Face算法之后,无数的各行各业的开发者就会基于此去做非常多的事情,进而带动整个生态的发展。

 

接下来的难点在于怎么从0.2过渡到0.3,需要找到算法的最优化路径。而跨越这一阶段之后,从0.3到0.5、0.5到0.8的产品迭代周期会越来越短。

 

未来,NVIDIA计划通过Omniverse不断提升的性能和功能,让更多普通人都能参与到创建数字资产、数字人的工作中。

 

在这之前,算力将会是亟待攻克的难点。何展表示,“以现在的算力来看,一台工作站或者一台笔记本可以设计出来。未来如果人们真的对数字化的需求越来越多,那就不只是一个数字资产,可能需要几万个甚至上亿个,我们的平台就需要有可扩展性和兼容性到云端。”

 

 


EW-Entertainment近期主题 · 相关内容   






您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存