NVIDIA Omniverse Audio2Face的简介

相关：

https://www.zhihu.com/zvideo/1548363713740226561

建议参看：

https://www.aiwht.com/sites/3406.html

https://baijiahao.baidu.com/s?id=1740770550462318916

亲自测试了一下，效果不错，不使用AI模式的情况下3D模型可以根据语音的变化调整口型，这个口型不像是根据声音波动大小进行调整的，感觉也是根据语音中的文字发言特点对的口型，可以说这个对口型还是不错的，比那种简单机械的上下动嘴唇的强太多了；至于这个口型对的是否正确这里没法验证，至少从不会唇语的人的角度来看，这个口型对的还是蛮不错的。这个软件除了给3D人脸模型对口型以外另一个功能就是可以设置面部表情，你可以人为的为某个画面帧设置表情（可以是angry，可以是fear，等等），也可以将整个语音的对应表情设置为AI模型的自动调整，目测这个表情部分或许还没有真人的表现那么好，不过从现有的3D模型的手动调整的方法来看还是要好不少的，估计目前比这个模型好的也就只有真人脸上贴感应器那种实时建模的方式了，从效果和实用性上来看这个软件是可以配的上NVIDIA的主打软件之一的这个地位的。

这个软件的应用场景就是3D建模的人脸，如下图：

对口型部分：

有上下嘴唇的动作控制，也有嘴部附近的肌肉控制，具体的3D控制点需要看3D模型中的关节点的设置。

面部表情控制部分：

控制的有眼睛和嘴部以上的肌肉，尤其是两侧脸颊处的肌肉，控制起来还是比较生动的。

面部表情调整为angry系数1.0，也就是angry表情加满，效果如下：

重点：

神奇的发现，如果是只对口型那么嘴的上方都是不动的，包括眼睛和嘴的以上的肌肉，但是如果选择面部表现，那么整个脸的肌肉（嘴部以上及以下肌肉），包括眼睛和鼻子都是会发生变化的，尤其是嘴部周围的肌肉和两个眉毛处肌肉以及下巴的动作变化尤为明显。

不过这个软件看上去主要的贡献是搞出了面部表情的自动3D脸部表情控制，其实这部分的工作其实难度有限，这个软件的真正核心的地方是这个表情状态的AI识别模型，也就是说根据表情的属性（angry还是fear）来控制3D模型的模版其实不是重点，重点是如何根据这个语音输入判断出当下时刻的表情属性，即当前时刻下表情的angry、fear、disgust等等的系数值（0.0~1.0）。