SadTalker是一款先进的人工智能模型，它通过从音频中学习生成3D运动系数，并使用全新的三维面部渲染器来生成头部运动，只需传入一张照片和一段音频，就能生成高质量的AI数字人视频

工作原理

1、显式地对音频和不同类型的运动系数之间的联系进行单独建模

2、通过蒸馏系数和3D渲染的脸部，从音频中学习准确的面部表情

3、通过条件VAE设计PoseVAE来合成不同风格的头部运动

4、使用生成的三维运动系数映射到人脸渲染的无监督三维关键点空间，合成最终视频

SadTalker生成后的人物头部运动规律，面部表情自然，口型也和音频的内容保持一致（小姐姐还会眨眼睛！）

最新中文版：

百度网盘：https://pan.baidu.com/s/1AMInL9l_LxfQ0g3j1TrWQA?pwd=8r4f

使用方法

1、上传人物图片和音频（音频可以是英文、中文、歌曲）

2、设置参数（下面会详细介绍）

3、点击“生成”按钮

参数说明

· 姿式风格：调节头部运动风格，默认0

· 表达量表：人物表情丰富程度，默认1

· 生成中的批量大小：生成视频的速度，默认1，显卡好可以适当拉大

· 预处理

crop：从图片中截取头部做视频

resize：拉伸图片，人物被压缩选择此项

full：全身照做视频

extcrop：加强版crop，主要聚焦头部

extfull：加强版全身

· 面部渲染：两种模式可自由尝试

· GFPGAN：让面部高清化

在控制台可以查看当前的处理进度，程序执行完毕会输出信息The generated video is named

生成的视频保存在SadTalker\results路径下，也可以在网页端下载

在操作界面下方的Examples中提供了部分图片和音频，请点击“图片源”选择使用

注意事项

①项目安装路径不要包含中文

②推荐使用GTX1060以上显存运行此项目

③使用过程中若不慎关闭软件后台，请重新打开，并刷新网页

照片也能说话了？嘴型表情全同步，AI数字人时代要来了的更多相关文章

  1. [转]字符型IP地址转换成数字IP的SQL函数

    使用SQL函数可以实现许多的功能,下面为您介绍的是字符型IP地址转换成数字IP的SQL函数示例,供您参考,希望对您学习SQL函数能够有所帮助.      /**//*--调用示例       sele ...

  2. DataUml Design 教程3-模型与数据库同步

    上一节我们已经建立好了数据模型,那么怎么让数据模型和数据库进行同步呢?模型同步到数据库非常简单,只需要模型绑定到数据库即可.DataUml Design目前支持和Oracle与MS Server数据库 ...

  3. js坑 把数字型的字符串默认为数字 把前面的0给去掉了（"001"）

    <script> b("); function b(id) { console.log("b函数的id:"+id); //var history = &quo ...

  4. 声网Agora Lipsync 技术揭秘：通过实时语音驱动人像模拟真人说话

    元宇宙的火热让人们对未来虚拟世界的形态充满了幻想,此前我们为大家揭秘了声网自研的 3D 空间音频技术如何在虚拟世界中完美模拟现实听觉体验,增加玩家沉浸感.今天我们暂时离开元宇宙,回到现实世界,来聊聊声 ...

  5. 从Chat-GPT看爆火技术概念及医疗领域科技与应用场景

    作者:京东健康 陈刚 一.前言 最近OpenAI在官网上宣告了多模态大模型 GPT-4 的诞生,它可能是迄今为止最好的多模态模型. 主要更新内容如下: 1. 逻辑分析能力更加全面.「考试」能力大幅提升 ...

  6. ChatGPT调研分析与应用场域结合构想

    作者:京东科技 胡骏 摘要 1. ChatGPT调研分析 2022年11月30日,ChatGPT横空出世,在全球范围内形成了热烈的讨论.根据Similarweb的数据,今年1月,平均每天约有1300万 ...

  7. win10如何让她闭嘴、按什麽建系统都要说话、如何让她闭嘴？

    win10如何让她闭嘴.按什麽建系统都要说话.如何让她闭嘴? 开始 设置 轻松使用 讲述人,关掉……

  8. 一定要记住这20种PS技术，让你的照片美的不行！ - imsoft.cnblogs

    照片名称:调出照片柔和的蓝黄色-简单方法, 1.打开原图素材,按Ctrl + J把背景图层复制一层,点通道面板,选择蓝色通道,图像 > 应用图像,图层为背景,混合为正片叠底,不透明度50%,反相 ...

  9. js关于对象键值为数字型时输出的对象自动排序问题的解决方法

    一.对象键值为数字型时输出的对象自动排序问题如: var objs = {    "1603":{id:"1603"},    "1702" ...

  10. 一定要记住这20种PS技术！！！会让你的照片美的不行！！！

    一种简单的数码照片后期润饰 1 打开图片,执行色像/饱和度(-40)降低饱和度. 2 新建一图层,将图层模式改为柔光,用画笔工具将需要润饰的部分画几下,这里可以利用色板方便的提取颜色 3 图片色彩过渡 ...

随机推荐

  1. github clone或访问慢

    做技术的我们经常会访问github.com,有时出现github访问非常慢或者git clone速度很慢,git push也很慢 原因很简单:github被高高的墙屏蔽了. 所以解决方案就是手动把 c ...

  2. GO中的GC

    go中的垃圾回收 前言 垃圾回收 go中的垃圾回收方式 三色标记法 根对象 STW 屏障技术 插入屏障 删除屏障 混合写屏障 GO中GC的流程 GC的触发时机 如果内存分配速度超过了标记清除的速度怎么 ...

  3. SqlSugar实体

    1.实体使用自带特性 1.1 使用用例 对于 CRUD来说只需要配置主键和自增列就行了 ,如果类的名称和数据库不一样可以设置数据库中的名称 主键自增 [SugarTable("dbstude ...

  4. 【一】tensorflow【cpu/gpu、cuda、cudnn】全网最详细安装、常用python镜像源、tensorflow 深度学习强化学习教学

    相关文章: [一]tensorflow安装.常用python镜像源.tensorflow 深度学习强化学习教学 [二]tensorflow调试报错.tensorflow 深度学习强化学习教学 [三]t ...

  5. Flask 实现文件上传下载

    Flask 针对文件的上传下载相关代码片段,多种方法,包括限制文件格式,大小等. 实现图片文件上传 # name: 简单的实现文件上传任务. import os from flask import F ...

  6. Leetcode刷题第一天-贪心

    455-分饼干 链接:455. 分发饼干 - 力扣(LeetCode) 优先使用最小饼干满足最小胃口,一个娃只能分一个饼干T_T不能加 1 class Solution: 2 def findCont ...

  7. C++遴选出特定类型的文件或文件名符合要求的文件

      本文介绍基于C++语言,遍历文件夹中的全部文件,并从中获取指定类型的文件的方法.   首先,我们来明确一下本文所需实现的需求.现在有一个文件夹,其中包含了很多文件,如下图所示:我们如果想获取其中所 ...

  8. windows10 安装运行docker

    windows10 安装使用docker part01.windows设置 启用windows 虚拟化 任务管理器-性能-CPU-虚拟化启用 启用Hyper-v 控制面板(Win+R -> 输入 ...

  9. (C语言)每日代码||2023.12.23||for循环的循环条件部分可以是数字

    #include <stdio.h> int main() { int i = 3; for (i; i; i--) { printf("%d\n", i); } // ...

  10. 欢迎加入 DotNet NB 交流学习群

    目录 起因 创建群组 群成员 技术交流 社区推广 社区前辈 欢迎加入 起因 自从2019年参加 .NET Conf China 大会之后,我创办了一个公众号 DotNet NB,内容主要是 关于 .N ...