用心跳检测戳穿Deepfake
验“金”室
一
人脸伪造盛行，眼见不一定为实
Deepfake是一种基于深度学习模型的换脸技术。这项技术应用深度学习中的生成对抗网络（GAN），将人脸图像和源视频作为网络的输入，把人脸图像叠加到源视频中的人脸区域作为输出，从而达到给源视频进行换脸的效果。
Deepfake这项技术一经开源就“硕果累累”。比如，用户可以利用曾红极一时的“ZAO”App将自己的脸叠加到热门电视剧中，以及最近美国总统候选人拜登的“睡着”事件。这些都是Deepfake技术应用的例子。
但是“硕果累累”的另一面则是Deepfake视频的泛滥和产生的威胁。例如，将公众人物的人脸叠加到不雅视频中，对公众人物的形象和声誉造成巨大损害。再者则是对人脸识别系统的威胁，“网络人脸贩子”的“代过人脸认证”就是利用Deepfake技术，输入单张人脸照片和随机动作生成被伪冒身份人脸的动作视频，尝试骗过App等线上应用的人脸识别中的动作活体检测（如摇头、眨眼、张嘴）。
二
Deepfake检测新思路——生物信号
Deepfake视频的泛滥和造成的威胁催生了Deepfake检测技术的发展，目前，Deepfake检测技术主要是根据分辨率、三维信息或不自然的眼部动作来进行检测。但是由于不同生成模型在这三个方面都进行了各自的优化，因此在处理不同模型生成的图片时，会出现泛化能力不足的问题。
近日，宾汉姆顿大学和因特尔的研究人员发明了一种新的Deepfake检测方法——Deepfake心跳检测。研究人员认为，Deepfake换脸视频中会留下生成模型的独特的生物学和噪声信号，并把这样独特的信号称为“Deepfake心跳”。
针对这个想法，研究人员进行了实验。实验结果如图1所示，研究人员发现生成器的残差在生物信号域的投影具有一定的模式规律，可用来判断视频是否是换脸视频，并且不同生成模型的生成器的残差在生物信号域的投影也有独特的特征，可以用来判断换脸视频来自于何种Deepfake生成网络。
图1 Deepfake心跳检测效果
注：第一列为真实视频中的一帧图像，其他列为不同Deepfake模型生成的图像。第二行为每一帧图像所累积的噪声的近似图像，第三行为PPG cells
Deepfake心跳检测法的核心即基于PPG光电容积脉搏波描记法原理(Photo Plethysmo Graphy，PPG)的PPG信号（即生物信号），简单来说利用光率的脉动变化，折算成电信号，从而对应成心率。具体的检测算法流程如图2所示。算法首先会提取出视频中的人脸区域[图2（c）]，接着选取人脸区域中的32个点，并将每个点计算原始PPG信号和他们的功率谱密度，两者编码到一个时空块中，构成了一个PPG单元[图2（f）]。最后将PPG单元输入一个分类器[图2（g）]中，从而判断视频是否为伪造视频，如伪造由何种Deepfake生成模型伪造。
图2 检测算法流程
为了证明Deepfake心跳检测法可以扩展到新的生成模型，研究人员将FaceForensics++(FF)数据集与CelebDF数据集结合起来，从CelebDF中随机选择1000个假视频，并将其创建为一个新的源类别。最终，假视频检测准确率达到了93.69%，生成模型检测准确率达到92.17%。因此得出结论：利用生物信号检测Deepfake视频的模型具有泛化性，生成模型检测结果如图3所示。
图3 生成模型检测结果
三
Deepfake检测有望与
人脸视频活体检测强强联手
近期，在某新闻媒体上刊登的《网络人脸贩子：我能帮你盗取任何人的隐私》一文表示，“网络人脸贩子”可通过AI换脸和视频合成技术，生成被伪冒身份人脸的动作视频，尝试骗过支付宝、腾讯游戏等线上App应用的人脸识别技术。
目前，业界主要通过活体检测技术防御各类攻击，检测手段可以分为静默活体检测、动作活体检测和硬件辅助活体检测。其中静默活体检测、动作活体检测以软件方式实现。静默活体检测利用真实的人脸与伪冒图片或视频帧图像相比对，根据图片纹路或细微表情特征差异进行活体判定，如眼皮、眼球的律动眨眼等。动作活体检测需要用户配合完成指定的指令动作，根据人脸左转、右转、张嘴、眨眼等指令动作是否正确来判定是否为假体攻击。硬件辅助活体检测以“硬件+软件方式”实现，主要基于光谱技术和人脸所特有的皮肤材质反射特性以及人脸的深度信息来判断是否为假体攻击。
若是使用手机对Deepfake视频进行翻拍，人脸视频活体检测可在一定程度上对此类翻拍进行检测和防御，但是Deepfake视频的伪造质量高，特别是在静默活体检测、动作活体检测的线上识别场景中仍有被攻破的可能性。因此，同样是基于软件方式的Deepfake检测技术有望成为软件方式的人脸视频活体检测手段的补充，从而提高线上识别场景中人脸识别的安全性。
更多精彩内容
FCC30+
长按左边二维码
关注我们不迷路