AI能让杨超越跳舞？背后原理大揭秘！ - 好文

上个月杨超越编程大赛在github上大火了一段时间，不过随着时间失衡其热度慢慢下降了，不过而该赛事的31号作品《YCY Dance
Now》横空出世，能够做到让用户给定一段跳舞的源视频并上传到指定网站，然后就可以欣赏到杨超越（注意这里不是单纯的换脸，而是整个人连同装束全变），表演这套舞蹈动作的视频了。由于笔者并没有得到杨超越的任何授权，为避免纠纷这里就以另一个效果类似的动态图向大家展示一下效果。

可以看到合成视频中的女性模仿者与男性舞者之间的动作基本是神相似的，而且两人之间的衣着也完全不同。我们知道之前换脸技术名嗓一时，笔者的博客中也就其原理有所介绍
终于把AI换脸的原理搞清了 <https://blog.csdn.net/BEYONDMA/article/details/88365203>
。不过这种换人技术可以说是换脸技术的升级版本，更具技术含量，所以今天我们再把这种换人技术的原理向大家做一个介绍。

AI换“一切”技术的前世今生

首先是AI换脸，18年年中AI换脸技术在科研学术研究领域和开源社区两个方向上都获得了不小的发展，在SIGGRAPH（暨国际计算机图形学会）的18年年会上一个由斯坦福大学、慕尼黑技术大学、巴斯大学等科研究机构联系研发的”Deep
Video
portrait”系统横空出世，该技术不但能让被替换的人脸完全模板原视频中人物的表情，甚至在放大对比时，两个视频在发丝和睫毛的表现上都能做到极度的精确，后来描述该技术的论文被发表在了《ACM图形交易上》，不过所幸的是研发”Deep
Video portrait”技术的几家机构并没有公开其项目的源代码。

而在开源社区中AI换脸技术也是得到了相当多的关注，笔者初步在github上看了一下，由deepfaks衍生（如faceswap,
deepfacelab）而来的开源项目数量不下十几个，其中以faceswap、Openfaceswap等开源项目为代码的换脸技术在github上的更新与讨论十分热烈,可以说完全看不到趋冷的迹象，极快的推动了开源换脸技术的迭代速度。而以FaceApp为代表的项目虽然没有开源，但是它们都提供了支持一键式操作的应用程序，极大的降低了换脸技术的使用门槛。

而AI换人技术基本上是始于CAROLINE CHAN, UC Berkeley等人的论文《Everybody Dance Now》(论文链接
https://arxiv.org/pdf/1808.07371.pdf <https://arxiv.org/pdf/1808.07371.pdf>
)，而《YCY Dance Now》也基本上沿用了《Everybody Dance
Now》的创意与思想。不过不同于单纯的换脸，换人技术所需要的技术与算力门槛都比较高。

AI换人术的基本原理

这里我们将原视频中的人称为PersonA,其体态姿势称为GestureA,原视频中的人称为PersonB,其体态姿势称为GestureB，AI模型称为MODEL

一、使用openpose（github地址
https://github.com/CMU-Perceptual-Computing-Lab/openpose
<https://github.com/CMU-Perceptual-Computing-Lab/openpose>
）技术来从包含有PersonB的视频中提取其姿势信息GestureB。其中openpose的基本原理是先使Convolutional Pose
Machine（CPM)模型用大卷积核来获得大的感受野，然后再回归每个人的关键点（可以粗略认为是人的关节），再由关键点回归姿态信息，openpose基本是目前开源技术中提取人体姿态信息最好用的框架之一，尤其是对于被阻挡住的关节信息也有不错的预测能力：

二、使用对抗神经网络pix2pix（这个模型github上很多，推荐参考链接https://github.com/phillipi/pix2pix
<https://github.com/phillipi/pix2pix>
）来训练模型MODEL，实现由姿态GestureB到人PersonB的还原。对抗神经网络实际上是可以从轮廓信息还原原图像的一种模型，

如果先考虑静态的图像，那么抗生成网络pix2pix来通过框架来还原图像的效果如下：

三、使用openpose从含有PersonA的图像中提取其姿态信息GestureA,然后再标准归一化后，传给第二步训练好的模型MODEL，并由AI模型还原PersonB

奇点已至

读到这里我相信很多读者都有这样的疑问，能否利用AI技术本身对于伪造的视频进行鉴定呢？而这个问题在开源社区中已经有过比较充分的讨论了。我们知道凡是机器学习都会有损失函数，是可以利用这个函数对两个不同的视频做做替换关鉴定，不过这种方法也有相当的局限，由于损失是目标视频相对于原视频的概念，而不巧的是当你只有一个视频情况下，还没有任何可以信赖的方法能够鉴定它是否被修改过。所以结论就是如果几段视频中有真有假，AI可以帮助你鉴定真假，而如果一段孤本的视频，则没有办法去鉴定它是否为真。

所以我们必须要正视换脸技术所带来的直接冲击，那就是未经签名认证的视频影像材料做为证据的效力大幅减弱
。目前信息安全体系主要有对称和非对称加密两种，其中对称加密是防盗的，没我的钥匙就打不开我的箱子；非对称加密是防篡改的，改了我说的话就和我的签名对不上了，这里不加赘述，所幸的是我国已经有了相应的安全视频标准《GB/T
25724-2017
公共安全视频监控数字视音频编解码技术要求》，不过目前很多视频其实还做按照此标准进行安全加固，不过随着AI换一切技术的不断推进，安全视频标准的应用也大概率会迎来一轮爆发。

热门工具换一换