最近在刷短视频的时候,偶尔能看到一些真人转动漫风的作品,看起来给人一种新鲜感,流量都还不错,简简单单跳个舞,就能获得上千个点赞~

那么,这种视频是怎么制作的?

本期给大家介绍一款AI转绘工具Diffutoon,可以将逼真的视频转换成动画风格,不仅能够处理高分辨率和快速运动的视频,还能确保整个视频的风格保持一致

Diffutoon最新中文版:

百度网盘:https://pan.baidu.com/s/1gKpZMMRpiB6OiTPc4cjNHA?pwd=tbjs

工作原理

Diffutoon的核心是基于深度学习的图像转换模型,这些模型经过大量的动漫图像和视频数据训练,能够识别并模仿动漫风格的特征,包括颜色、线条、阴影和纹理等

1.对输入的视频进行帧提取,将视频分解成单帧图像

2.使用训练好的深度学习模型对每一帧图像进行风格转换,使图像呈现出动漫的视觉效果

3.对转换后的图像合成处理,通过插帧技术提高视频的流畅度

4.将处理好的帧图像重新合成视频,生成最终的动漫风格效果

功能特点

· 高度自动化:能够自动处理视频文件,无需人工干预,极大提高了视频动漫化的效率

· 结构引导:使用ControlNet模型提取视频中的关键轮廓信息,在动画过程中保留原内容的核心特征

· 一致性增强:集成AnimateDiff运动模块,增强帧时间一致性,确保动漫视频播放流畅,视觉连贯

· 自动着色:能够根据视频内容和风格要求自动选择合适的颜色进行填充

· 超分辨率:采用专门的控制网络进行视频的上色处理,即使输入低分辨率的视频,也能够生成高质量的动漫风格视频

使用方法

1.在“稳定扩散”处选择模型“aingdiffusion_v12.SafeTensors”

2.在“动画差异”处选择模型“mm_sd_v15_v2.ckpt”

3.在“输入视频文件”处复制待处理视频所在的路径,例如 C:\dongman\1.mp4

4.设置输入视频的高度和宽度,短视频的高宽一般是1024和768

5.设置开始帧0,结束帧设为视频的秒数乘以30,例如10秒视频的结束帧就是300

6.“输出视频文件路径”保持默认值output,设置帧数为30

7.在“ControlNet单元”处设置

单元0:控制网为“control_v11f1e_sd15_tile.pth”,处理器为“tile”

单元1:控制网为“control_v11p_sd15_lineart.pth”,处理器为“lineart”

8.点击运行按钮

稍微等待一段时间,转绘后的视频保存在项目路径的output文件夹下

注意事项

①项目安装路径不要包含中文

②推荐使用GTX1070以上显卡运行此项目

③使用过程中若不慎关闭软件后台,请重新打开,并刷新网页

Diffutoon下载介绍:真人视频转动漫工具,轻松获得上千点赞的更多相关文章

  1. iSkysoft iMedia Converter Deluxe Mac如何制作视频?视频格式转换工具制作动图的方法

    使用iSkysoft iMedia Converter Deluxe Mac如何制作视频?使用视频格式转换工具,你可以轻松进行动图或视频的制作,也可以把你喜欢的视频的某一段提取出来,制作成你自己风格的 ...

  2. Javacv 音视频小工具 - 下载抖音视频

    一.前言 大家好,俗话说的好,学习新的知识后要学以致用,在学习音视频的过程中,你有没有疑问,不知道音视频可以用来做什么.下面举几个例子,比较耳熟能详,被吹到风口的一些场景有:AI 视觉计算, AI 人 ...

  3. 老司机图文教程教你如何免费下载腾讯视频的视频mp4(直接下载到,不用qlv格式转mp4格式,亲测)

    关于如何下载到腾讯视频的mp4这个问题,大家想必经过多翻搜索,都未必找到满意的答案吧. 下载微信公众号文章中引用的腾讯视频的方法也是一样适用本方法. 因为用腾讯视电脑客户端和手机APP下载到的都是QL ...

  4. you-get下载B站视频

    you-get下载B站视频 库存 you-get介绍 https://github.com/soimort/you-get you-get是一个命令行工具,可以下载知名网站的视频 支持的网站有  ht ...

  5. 使用js脚本批量下载慕课网视频

    慕课网(http://www.imooc.com/)上有很多不错的视频,当然我不是来给慕课网打广告的,我本人学习过很多慕课网上的免费的视频. 在线看如果网速慢时,可能会有卡顿,没网时无法观看.所有说下 ...

  6. 利用Selenium和Browsermob批量嗅探下载Bilibili网站视频

    Rerence: http://www.liuhao.me/2016/09/20/selenium_browsermob_sniff_bilibili_video/ 日常生活中,用电脑看视频是非常频繁 ...

  7. 怎样下载YouTube 4K视频

    随着科技的进步,人们生活水平的提高,视频的清晰度也越来越高,以前那个观看模糊视频的时代已经一去不复返了.从最开始的720P和1080P高清视频,再到2K,进而到如今的4K(即3840×2160)极清视 ...

  8. 如何下载YouTube 8K视频

    随着科技的进步,人们对高清视频的要求越来越高,因此视频的分辨率也越来越高.从最开始的720P,到1080P,再到2K,进而到如今4K,不断地满足人们挑剔的胃口.4K分辨率的视频已经逐渐进入人们的生活中 ...

  9. urlrrtrieve()实例_下载微博短视频

    1.确定目标 在微博页面找一想要下载的短视频,通过审查元素找到视频的url. 如://f.us.sinaimg.cn/00150tBNlx07l0qjoSJi01040201m7z90k010.mp4 ...

  10. 不用 qlv 格式转换成 mp4 - 优雅的下载腾讯视频(mp4 格式)

    不用 qlv 格式转换成 mp4 - 优雅的下载腾讯视频(mp4 格式) 问题描述: 朋友说离线腾讯视频是 qlv 格式的,只能使用腾讯视频软件打开.让我帮忙想想办法,能不能将 qlv 格式转换成 m ...

随机推荐

  1. 用.NET代码生成JSON Schema 验证器

    问题 对于验证复杂JSON数据是否合法的需求,通常的解决方式是标准JSON Schema,.Net下有对应的JSON Schema实现库.应用程序通常需要将标准JSON schema传入实现库,来做后 ...

  2. 开源一站式敏捷测试管理,极简项目管理平台 itest(爱测试) 6.6.2 发布,便捷迫切功能增强

    (一)itest 简介及更新说明 itest 开源敏捷测试管理,testOps 践行者,极简的任务管理,测试管理,缺陷管理,测试环境管理,接口测试5合1,又有丰富的统计分析.可按测试包分配测试用例执行 ...

  3. react移动端组件antd-mobile

    使用react移动端组件antd-mobile完成底部导航功能实现. 官网:https://mobile.ant.design/docs/react/introduce-cn antd-mobile ...

  4. 西数 WD SATA SSD 固态 蓝盘 复制和剪切速度慢

    现象:速度只有4,5M,活动时间100%.用AS SSD 测试速度正常. 问题:冷数据掉速.冷数据门. 解决方法:用DiskFresh,刷新下. 刷新时间,要看你存储数据的多少.我的1T 蓝盘,用了3 ...

  5. transformer原理

    Transformer注意力架构原理 输入层 embedding词嵌入向量 将文本中词汇的数字表示转变为向量表示,在这样的高维空间捕捉词汇间的关系 语义相近的词语对应的向量位置也更相近 每个词先通过词 ...

  6. Unity 编辑器中获取选中的文件夹、文件路径

    编辑器中获取选中的文件夹.文件路径 using UnityEditor; using UnityEngine; using Object = UnityEngine.Object; public cl ...

  7. [翻译].NET 8 的原生AOT及高性能Web开发中的应用[附性能测试结果]

    原文: [A Dive into .Net 8 Native AOT and Efficient Web Development] 作者: [sharmila subbiah] 引言 随着 .NET ...

  8. Nginx SSL证书更新及密码套件更新

    一.域名更换证书 ssl证书一般包括证书文件crt.cer.pem.pfx和私钥文件key. CER.CRT.PEM 和 PFX 是不同的证书文件格式,它们之间存在一些区别: CER (DER 编码) ...

  9. Godot中鼠标点击3D对象

    Godot中鼠标点击3D对象 方法一:调用RigidBody3D中的input_event事件 RigidBody3D中有信号input_event可以接受鼠标的输入,用这个信号可以处理点击事件. 具 ...

  10. awk脚本结合shell使用

    需求:判断hadoop用户是否存在**************************************************#!/bin/bashresult=`awk -F ": ...