无监督动作迁移再修复的人脸重演方法

Computer Engineering and Applications（2023）

引用 0|浏览0

暂无评分

摘要

人脸重演可以将一个驱动人物的上半身动作迁移到目标人物上,合成一段视频.针对当前方法动作迁移不充分或合成的视频质量较低的问题,提出了无监督动作迁移再修复的人脸重演方法.利用一种无监督运动迁移模型,将驱动人物动作较为完整地迁移到目标人物,并得到粗糙的目标人脸视频.然后设计一个带有时空结构的生成神经网络,将粗糙的人脸视频修正为逼真流畅的人脸视频.为合成流畅且细节丰富的视频,在网络中引入了三维卷积以及注意力机制,更好地处理时空信息和指导图片的修正;为避免背景合成错误,将背景信息嵌入到网络作为固定参数;为提高牙齿的真实度,设计了一种嘴部增强损失.该网络以对抗的方式训练,确保了图片的真实感.实验结果表明,该算法可合成高质量的目标人物视频,性能指标优于目前先进的重演方法.

关键词

face reenactment,unsupervised learning,generative adversarial network,attention mechanism,3D convolution

AI 理解论文

溯源树

样例

生成溯源树，研究论文发展脉络

Chat Paper

正在生成论文摘要