“眼见为实”不管用了？这个巧妙算法可帮助发现伪造视频

图1：Facebook首席执行官马克·扎克伯格的伪造视频

【网易智能讯 7月5日消息】对于未经过特殊训练的人来说，很难分辨出深度假视频（Deepfake），因为它们可能非常逼真。无论是作为一种新型的“调侃”方式，还是用于其他目的，描述人们从未做过或说过事情的虚假视频都是对“眼见为实”这一长期理念的根本威胁。

大多数深度假视频是通过向计算机算法显示某个人的许多图像，然后让它使用其所看到的信息生成新的人脸图像。同时，这些人的声音也是合成的，所以看起来和听起来都像是这个人说了某些新东西。

我（本文作者，纽约州立大学奥尔巴尼分校计算机视觉和机器学习实验室主任Siwei Lyu）的研究小组早期的一些工作，让我们能够检测出不包括人眼正常眨眼次数的深度假视频，但最新一代的深度假视频技术已经适应了这种趋势，因此我们的研究继续推进。

现在，我们的研究可以通过仔细观察特定帧的像素来识别视频的真伪。更进一步，我们还推出了积极的措施，以保护个人不成为深度假视频的受害者。

发现缺陷

在最近的两篇研究论文中，我们描述了检测有缺陷深度假视频的方法，而这些缺陷是伪造者无法轻易修复的。

当深度假视频合成算法生成新的面部表情时，新图像并不总是能与人的头部位置、光照条件或到摄像头的距离完美匹配。为了使这些假脸融入周围环境，必须对它们进行几何变形——旋转、调整大小或以其他方式进行扭曲。这个过程在生成的图像中会留下数字痕迹。

我们已经注意到，有些深度假视频有很明显的数字痕迹。这些痕迹可以让照片看起来明显经过了修改，比如模糊的边框和人为修订的光滑皮肤。更细微的改变仍然会留下证据，我们已经教会了一种算法来检测它，即使人眼看不出区别。

如果深度假视频中有个人没有直视摄像头，这些伪影就会发生变化。拍摄真人的视频显示他们的脸会在三维空间中移动，但深度假视频的算法还不能在三维空间中伪造人脸。相反，它们会生成一张常规的二维人脸图像，然后尝试旋转、调整和扭曲该图像，使其符合人们想要看到的方向。

这类算法还没有很好地做到这一点，这就为发现它们提供了机会。我们设计了一种算法来计算人的鼻子在图像中的指向，它还可以通过人脸轮廓计算出头部指向的方向。在一个真实的人的头部视频中，这些应该是可以预见的。然而，在深度假视频中，它们往往是错位的。




图2：当电脑把尼古拉斯·凯奇（Nicolas Cage）的脸放在埃隆·马斯克（Elon Musk）的头上时，它可能无法将脸和头正确对齐

检测深度假视频

从技术上说，检测深度假视频的科学就像军备竞赛，因为伪造者们也在不断改进自己的技术，所以我们的研究总是要努力跟上，甚至需要保持超前。

如果有一种方法可以影响创建深度假视频的算法，使它们的效果变得更差，这将使我们更好地检测伪造视频。我的团队最近找到了一种方法来实现这个目标。