NLPR、SenseTime 和 NTU 加速自动视频纵向编辑

视频人像编辑技术已经在电视、视频和电影制作中得到了应用，并有望在不断发展的网真场景中发挥关键作用。最先进的方法已经可以逼真地将同源音频合成为视频。现在，来自北京模式识别国家实验室（NLPR）、商汤科技研究和南洋理工大学的研究人员通过一个新的框架将这项技术向前推进了一步，该框架可以实现完全任意的音频 - 视频翻译。

在开发该项目时，研究人员面临着许多挑战：

1、如何在没有源视频的情况下执行从音频到视频的直接映射

2、如何概括同一音频剪辑上不同说话人的面部表情

3、如何保持视频背景的完整性和清晰度，防止扬声器头部移动引起的遮挡等

系统架构概述

为了增加合成视频的真实感，研究人员结合了许多不同的模型和网络。在视频方面，他们应用了参数化3D人脸模型，从每个肖像帧中提取人脸几何形状、姿势和表情参数。在音频方面，他们使用音频到表情的翻译网络来识别特定的音频特征，并将其与面部表情相匹配。

研究人员还设计了一个音频ID去除网络，以降低不同肖像的差异化。然后使用重组的 3D 面部网格修改源和目标参数，创建蒙版肖像。最后，研究人员应用了神经视频渲染网络来实现清晰和不间断的背景场景。

音频到表达网络架构

一对多和多对一平移测试结果表明，所提系统的泛化能力比现有方法产生更自然的外观和运动。

与四种主要的最新方法进行比较。

本文的第一作者是Linsen Song，他是NLPR研究员何然和前商汤科技实习生指导下的研究生。可以在项目页面上查看综合结果的视频演示和解释。

相关论文《Everyone’s Talkin：Let Me Talk as You Want》发表在arXiv上。