最近在刷短视频的时候,偶尔能看到一些真人转动漫风的作品,看起来给人一种新鲜感,流量都还不错,简简单单跳个舞,就能获得上千个点赞~

那么,这种视频是怎么制作的?

本期给大家介绍一款AI转绘工具Diffutoon,可以将逼真的视频转换成动画风格,不仅能够处理高分辨率和快速运动的视频,还能确保整个视频的风格保持一致

Diffutoon最新中文版:

百度网盘:https://pan.baidu.com/s/1gKpZMMRpiB6OiTPc4cjNHA?pwd=tbjs

工作原理

Diffutoon的核心是基于深度学习的图像转换模型,这些模型经过大量的动漫图像和视频数据训练,能够识别并模仿动漫风格的特征,包括颜色、线条、阴影和纹理等

1.对输入的视频进行帧提取,将视频分解成单帧图像

2.使用训练好的深度学习模型对每一帧图像进行风格转换,使图像呈现出动漫的视觉效果

3.对转换后的图像合成处理,通过插帧技术提高视频的流畅度

4.将处理好的帧图像重新合成视频,生成最终的动漫风格效果

功能特点

· 高度自动化:能够自动处理视频文件,无需人工干预,极大提高了视频动漫化的效率

· 结构引导:使用ControlNet模型提取视频中的关键轮廓信息,在动画过程中保留原内容的核心特征

· 一致性增强:集成AnimateDiff运动模块,增强帧时间一致性,确保动漫视频播放流畅,视觉连贯

· 自动着色:能够根据视频内容和风格要求自动选择合适的颜色进行填充

· 超分辨率:采用专门的控制网络进行视频的上色处理,即使输入低分辨率的视频,也能够生成高质量的动漫风格视频

使用方法

1.在“稳定扩散”处选择模型“aingdiffusion_v12.SafeTensors”

2.在“动画差异”处选择模型“mm_sd_v15_v2.ckpt”

3.在“输入视频文件”处复制待处理视频所在的路径,例如 C:\dongman\1.mp4

4.设置输入视频的高度和宽度,短视频的高宽一般是1024和768

5.设置开始帧0,结束帧设为视频的秒数乘以30,例如10秒视频的结束帧就是300

6.“输出视频文件路径”保持默认值output,设置帧数为30

7.在“ControlNet单元”处设置

单元0:控制网为“control_v11f1e_sd15_tile.pth”,处理器为“tile”

单元1:控制网为“control_v11p_sd15_lineart.pth”,处理器为“lineart”

8.点击运行按钮

稍微等待一段时间,转绘后的视频保存在项目路径的output文件夹下

注意事项

①项目安装路径不要包含中文

②推荐使用GTX1070以上显卡运行此项目

③使用过程中若不慎关闭软件后台,请重新打开,并刷新网页

Diffutoon下载介绍:真人视频转动漫工具,轻松获得上千点赞的更多相关文章

  1. iSkysoft iMedia Converter Deluxe Mac如何制作视频?视频格式转换工具制作动图的方法

    使用iSkysoft iMedia Converter Deluxe Mac如何制作视频?使用视频格式转换工具,你可以轻松进行动图或视频的制作,也可以把你喜欢的视频的某一段提取出来,制作成你自己风格的 ...

  2. Javacv 音视频小工具 - 下载抖音视频

    一.前言 大家好,俗话说的好,学习新的知识后要学以致用,在学习音视频的过程中,你有没有疑问,不知道音视频可以用来做什么.下面举几个例子,比较耳熟能详,被吹到风口的一些场景有:AI 视觉计算, AI 人 ...

  3. 老司机图文教程教你如何免费下载腾讯视频的视频mp4(直接下载到,不用qlv格式转mp4格式,亲测)

    关于如何下载到腾讯视频的mp4这个问题,大家想必经过多翻搜索,都未必找到满意的答案吧. 下载微信公众号文章中引用的腾讯视频的方法也是一样适用本方法. 因为用腾讯视电脑客户端和手机APP下载到的都是QL ...

  4. you-get下载B站视频

    you-get下载B站视频 库存 you-get介绍 https://github.com/soimort/you-get you-get是一个命令行工具,可以下载知名网站的视频 支持的网站有  ht ...

  5. 使用js脚本批量下载慕课网视频

    慕课网(http://www.imooc.com/)上有很多不错的视频,当然我不是来给慕课网打广告的,我本人学习过很多慕课网上的免费的视频. 在线看如果网速慢时,可能会有卡顿,没网时无法观看.所有说下 ...

  6. 利用Selenium和Browsermob批量嗅探下载Bilibili网站视频

    Rerence: http://www.liuhao.me/2016/09/20/selenium_browsermob_sniff_bilibili_video/ 日常生活中,用电脑看视频是非常频繁 ...

  7. 怎样下载YouTube 4K视频

    随着科技的进步,人们生活水平的提高,视频的清晰度也越来越高,以前那个观看模糊视频的时代已经一去不复返了.从最开始的720P和1080P高清视频,再到2K,进而到如今的4K(即3840×2160)极清视 ...

  8. 如何下载YouTube 8K视频

    随着科技的进步,人们对高清视频的要求越来越高,因此视频的分辨率也越来越高.从最开始的720P,到1080P,再到2K,进而到如今4K,不断地满足人们挑剔的胃口.4K分辨率的视频已经逐渐进入人们的生活中 ...

  9. urlrrtrieve()实例_下载微博短视频

    1.确定目标 在微博页面找一想要下载的短视频,通过审查元素找到视频的url. 如://f.us.sinaimg.cn/00150tBNlx07l0qjoSJi01040201m7z90k010.mp4 ...

  10. 不用 qlv 格式转换成 mp4 - 优雅的下载腾讯视频(mp4 格式)

    不用 qlv 格式转换成 mp4 - 优雅的下载腾讯视频(mp4 格式) 问题描述: 朋友说离线腾讯视频是 qlv 格式的,只能使用腾讯视频软件打开.让我帮忙想想办法,能不能将 qlv 格式转换成 m ...

随机推荐

  1. ubuntu18.04最小化安装

    ubuntu 18.04虚拟机安装 镜像下载地址: https://releases.ubuntu.com/18.04/ubuntu-18.04.6-live-server-amd64.iso 创建虚 ...

  2. ReplayKit2 有线投屏项目-反向Socket实现

    一.需求 我们在使用RTMP协议进行推流的时候,底层仍然采用的是TCP协议或者QUICK协议,有客户端主动发起请求.但是在有线投屏中,需要PC端向手机发起请求建立连接 二.实现 在客户端主动发起请求之 ...

  3. svg动画导致持续占用CPU

    1.在一次性能优化中突然发现一个svg矢量图动画导致CPU持续占用的问题,该svg在web中使用, 即使webview释放之后,CPU依然占用达到10%,6s+上测试结果 svg如下所示: <s ...

  4. 【Socket】解决TCP粘包问题

    一.介绍 TCP一种面向连接的.可靠的.基于字节流的传输层协议. 三次握手: 客户端发送服务端连接请求,等待服务端的回复. 服务端收到请求,服务端回复客户端,可以建立连接,并等待. 客户端收到回复并发 ...

  5. 『手撕Vue-CLI』拷贝模板

    开篇 经过上篇文章的介绍,实现了可以根据用户选择的模板名称加上对应的版本号,可以下载对应的模板,并且将下载之后的文件存放在用户目录下的 .nue-template文件夹中. 接下来这篇文章主要实现内容 ...

  6. webpack处理静态资源

    像项目中字体资源是不需要进行打包处理的,可以直接的通过复制方式给打包到目标目录中 # 安装 npm i -D copy-webpack-plugin # 引入 const CopyPlugin = r ...

  7. Adobe软件资源 PS PR AE等等

    整理了一波Adobe软件,19年20年21年Mac版本的都有,关注Rand_cs即可领取

  8. Visual Studio(VS)常用快捷键整理

    ​ 前言 在使用Visual Studio编写代码时,使用快捷键能够提高编码效率,作为程序员,我们有必要记住一些比较常用的快捷键.这篇文章将记录我自己比较常用的快捷键,并根据我的使用情况,更新常用快捷 ...

  9. work07

    day08作业: 必做题:============================================================ 第一题: 定义一个字符串s = "Hell ...

  10. Linux中的inode

    inode是什么 一个文件由两部分组成:元信息和数据. 在Linux中,inode包含文件的元信息,具体来说有以下内容: Size 文件的字节数 Uid 文件拥有者的User ID Gid 文件的Gr ...