3D动画和游戏又要变天了？一部手机就能实现高精度动作捕捉！

文/阿呜 

什么？？？

只要一部iPhone手机

就可以轻松实现高精度动作捕捉？

看到名字就知道和动画人息息相关了！

简单来说它是MetaHuman的动画器。它允许你使用iPhone或立体头戴式摄像机（HMC）在MetaHuman角色上以高保真动画的形式重现任何面部表演。

该新技术一经发布

行业炸锅

我们来看看完整视频

幕后制作过程已经实现了非常便利，以现场演示为例，首先，演员要录制一段视频，期间可以做出任何表情。可以是夸张的愤怒、眼神的变化等等，通过手机全程录制，技术人员将录制好的视频上传到软件，整个处理过程都是在本地进行。

通过Live Link Face应用程序利用最新的技术捕获演员的面部动态，尽可能以最佳分辨率记录所有动作。

随后，MetaHuman Animator将这些面部动态与Dev数据一起使用，生成高保真的动画效果。

完成面部动作捕捉后，仅需三帧视频（正面、左侧面和右侧面）即可生成演员的“元人类DNA”。

这个过程中使用的是定制版面部特征算法，生成过程仅需数秒钟。该算法可标定所有面部数据，使得重现录制中的面部表情变得更加容易。此外，在该过程中，可以将真人视频与生成的建模视频进行逐帧比较，进一步提高了生成效果的准确性。

只需等待几分钟，即可成功生成完整的动画视频。工作人员仅需进行微调和音频导入即可完成最终工作。借助这款新应用，工作人员可以轻松地实现高精度动态展现。

在算法方面，Epic使用自家的“面部求解器”和“标志检测器”来确定视频中人物面部的关键操作点。这些关键点基于语义空间解决方案，由AI映射到“n维人类空间”数据库中的最近邻帧上。

所谓“n维人类空间”，是Epic基于多年收集的详细面部捕捉数据，精心挑选和打磨而成的庞大数据库，包含头部各个部位的各种运动姿态。借助这一技术，工作人员能够轻松地还原出精准的面部表情和动作。

为了创作这些数字人物的表演，需要进行高质量的动画制作，这需要大量的专业知识和时间，即使是最熟练的创作者也会认为这项工作充满挑战性。目前的表演捕捉技术难以完全再现演员表演中的每一个微小变化，因此要创造真正逼真的动画，往往需要熟练的动画师在极其艰辛和耗时的过程中费力调整结果。

但是，即将发布的MetaHuman动画器将会改变这种情况。

该动画器将能够生成3A级游戏开发商和好莱坞电影制作人所要求的高质量面部动画，同时也可供独立工作室和业余爱好者使用。

你甚至不需要成为一名动画师，只要使用你口袋中可能就有的iPhone以及标准三脚架，就可以为MetaHuman创建真实可信的动画，与观众建立情感联系。

MetaHuman动画器能够与任何专业垂直立体HMC捕捉解决方案搭配使用，创造质量更高的结果。该动画器还支持时间码，因此，如果你拥有用来捕捉身体动作的动作捕捉系统，还可以轻松地将面部表演动画与身体动作捕捉及音频衔接在一起，创造完整的角色表演。它甚至可以使用音频生成惟妙惟肖的口型动画。

该动画器的关键之处在于能够理解演员面部的独特解剖结构，并将该结构映射到目标角色上。它首先会为表演者创建一个MetaHuman本体，即一个具有相同拓扑结构并与所有MetaHuman共用相同标准绑定的网格体。

应用过程中只需要使用少量捕捉镜头，该动画器就能够根据演员的表演快速创建一个MetaHuman本体。最终，不管演员和MetaHuman的容貌有什么不同，每一个细微表情都将在MetaHuman目标角色上精准重现。

MetaHuman动画器的处理功能将由虚幻引擎MetaHuman插件提供，它和引擎本身一样，可免费下载。如果你想使用iPhone（MetaHuman动画器兼容iPhone 11或更新型号），则还需要安装免费的Live Link Face iOS应用，未来，我们期待这个新工具的发布！