DeepFake想必家喻户晓了,俗名AI换脸,经常被用来“换脸”。为了净化网络环境,预防AI换脸带来的政治危害,研究人员提出了DeepFake Detection,今天我们就来聊聊有关的算法和模型。
passive方法
Passive方法说的就是那个一拍脑袋就能想到的方法,搞一个神经网络,将原始图片和被换脸的图片作为输入,对应的标签分别为true和false,使用梯度下降训练,就是一个简单的二分类任务,关于二分类任务,可用的模型有很多,就不再赘述,这个Passive DeepFake Detection看起来还没有DeepFake高级。
proactive方法
Proactive方法是(FaceGuard: Proactive Deepfake Detection)这篇论文中提出的方法,在arxiv上发现的,看样子是一种面向数据源提出的办法。他的核心思想是在每个人脸图片从一个本地机进入互联网的时候,都被添加一个watermark,watermark就是我们俗称的水印了,但是不同点在于这个watermark是一个二进制的向量,而且在嵌入到图片之后不会影响到人对图片的判别。
训练的pipeline从一个encoder开始,接收特朗普的面部图像和一个watermark作为输入,嵌入watermark的图像又被进行各种可微分的变异处理,以增强模型的鲁棒性,从而适应更多的应用场景,最后有一个decoder对图像进行解码,得到一个watermark和一个解码后的图像。通过判断解码得到的watermark和原始的watermark相似性来最终决定图像是不是被换脸了。
关于如何将watermark嵌入到图像中,又不影响人的视觉感受。其实,只需要将嵌入watermark前后的图像进行一个比对,计算出变化矩阵的范数,并添加到全局的loss函数中进行最小化即可。
I was looking at some of your posts on this internet site and I
believe this website is really instructive! Continue putting up.?