当前位置： 首页 > news >正文

AI 绘画Stable Diffusion 研究（十四）SD 图生图+剪映制作人物说话视频

news 2026/2/8 10:13:43

大家好，我是风雨无阻。


前一篇，我们详细介绍了使用 SadTlaker制作数字人视频案例，感兴趣的朋友请前往查看:AI 绘画Stable Diffusion 研究（十三）SD数字人制作工具SadTlaker使用教程。


对于没有安装 SadTlaker 插件的朋友，可以查看这篇文章：AI 绘画Stable Diffusion 研究（十二）SD数字人制作工具SadTlaker插件安装教程 。


想必用过 SadTlaker 的朋友都知道，目前使用 SadTlaker插件制作数字人说话的视频，有两个不太理想的地方：

（1）、 生成视频消耗的时间比较长。尤其是显卡和显存比较低的朋友，想要制作一个长时间的视频，效率更低。

笔者亲测：使用3060 12G显卡，制作一段15s 左右的视频，需要10分钟左右。

（2）、目前的SadTlaker 图片人物只能使用正面照，这样给人的感觉比较突兀。


那有没有其他方法制作数字人视频，既能达到让数字人张嘴说话的效果， 效率又更高，还可以使用非正面图的方式呢？

答案是有的，那就是今天的主题： SD 图生图制作人物张嘴说话图+剪映制作说话视频。


一、SD制作人物张嘴说话图


1、切换到SD 图生图->局部重绘界面 ，上传一张人物图片


在这里插入图片描述


2、反推正向提示词


在这里插入图片描述


3、改写正向提示词，让人物张嘴


没安装提示词插件的朋友，请查看这篇文章AI 绘画Stable Diffusion 研究（六）sd提示词插件，有详细安装步骤。


（1）、我们使用提示词插件， 在提示词处，先输入中文： 张嘴

提示词插件会自动将中文转换英文提示词。


如图：

在这里插入图片描述


（2）、为了让人物张嘴效果更明显，不被sd 忽略，我们需要增加张嘴提示词的权重


选择张嘴提示词， 会弹出权重操作按钮，然后我们点击三次，增加权重图标按钮，此时提示词输入框内会自动增加提示词的权重。


如图：

在这里插入图片描述


在这里插入图片描述


在这里插入图片描述


（3）、涂选重绘区域

在局部重绘界面，右侧选择画笔，ctrl+鼠标滚轮可调整画笔粗细。


在这里插入图片描述


（4）、调整重绘尺寸

在这里插入图片描述


（5）、启用controlnet ，保存人物姿势不变

  • 启用controlnet
  • 控制类型选择：openpose
  • 预处理器：openpose_full
  • 模型：control_v11p_sd15_openpose

在这里插入图片描述


(6)、点击生成，即可获得人物张嘴的图片

对比图如下：

在这里插入图片描述


上面我们已经获得了人物张嘴的图片，那么接下来，我们使用剪映，加上配音和字幕，即可制作人物开口说话视频了。


二、剪映制作人物开口说话视频

1、准备工作

  • 安装剪映，具体的安装步骤这里就不再细说，很简单，请自行安装。

  • 准备好人物张嘴和闭嘴的两张图

  • 准备好音频文件


2、打开剪映点击开始制作

在这里插入图片描述


3、导入音频和图片

如图：

qyDT-1692773049806)(assets/image-20230823003231110.png)]

在这里插入图片描述


4、将音频拖入下方音频轨道

在这里插入图片描述


5、生成字幕

依次点击菜单栏上“文本”按钮，再点击左侧“智能字幕”按钮，接着点击“开始识别”按钮，生成字幕


在这里插入图片描述


字幕生成如下：

在这里插入图片描述


6、将图片拖入轨道，然后切换嘴型

（1）、怎么切换嘴型，使其看上去像说话的效果呢？


用过剪映的朋友肯定知道，剪映 1s 是30帧 。

那么正常人说话，大约1s 5 -6 个字。

因此我们可以计算出来大概 5帧 一个嘴型。

因此我们先使用闭嘴的图，然后在5帧的地方，切换张嘴的图即可实现。


（2）、制作步骤


  • step 1: 将张嘴的图和闭嘴的图分别导入到图片两个轨道上

  • step 2:将右侧轨道缩放拖到最右侧，可以清晰看见轨道上的帧数 ，如1f \2f\4f\6f

    如图：

在这里插入图片描述


step 3: 将定位线移到 5帧处，然后点击分割按钮，将张嘴和闭嘴图都分割开

如下：


在这里插入图片描述


step 4:处理闭嘴的图， 分割后，我们删除，前5帧，不用的闭嘴图

如下：


在这里插入图片描述


step 5: 继续往后数5帧，再分割

在这里插入图片描述


step 6: 删除张嘴、闭嘴图 多余的部分


在这里插入图片描述


step 7: 将张嘴、闭嘴拖入同一轨道，并且打组

在这里插入图片描述


选中两个片段，然后鼠标右键，新建复合片段，打组


在这里插入图片描述


现在的效果，就是闭嘴、张嘴的一个片段 。

打组后如图：

在这里插入图片描述


step 8: 复制粘贴多个片段，直到一句说完话为止

然后将图片末尾和字幕对齐。

如图：

在这里插入图片描述


step 9: 没说话的时候，使用闭嘴的图

注意：将图片末尾和空白处末尾对齐

如下：

在这里插入图片描述


step 10: 继续处理后面说话的部分， 重复步骤step 8，直到每句话处理完毕

在这里插入图片描述


step 11: 调整视频比例，9:16 再导出视频

右上角导出按钮，导出即可。

在这里插入图片描述


在这里插入图片描述


好了，这个视频制作就到此结束，看看效果吧：

SD 图生图+剪映制作人物说话视频

说实话，这个视频只是张嘴闭嘴的效果，没有脸部表情变化，确实显得比较生硬。

不过这里重点在于介绍制作思路和剪辑方法， 对于感兴趣的朋友可以尝试玩一下。

相关文章：

AI 绘画Stable Diffusion 研究（十四）SD 图生图+剪映制作人物说话视频

大家好，我是风雨无阻。 前一篇，我们详细介绍了使用 SadTlaker制作数字人视频案例，感兴趣的朋友请前往查看:AI 绘画Stable Diffusion 研究（十三）SD数字人制作工具SadTlaker使用教程。 对于没有安装 SadTlaker 插件的朋友…...

编程日记 2023/8/27 1:48:05

ProPlot 基本语法及特点

文章目录 简介多子图绘制处理共享轴标签“跨度”轴标签多子图序号的绘制 更简单的颜色条和图例更加美观的颜色和字体 简介 科研论文配图多图层元素（字体、坐标轴、图例等）的绘制条件提出了更高要求，我们需要更改 Matplotlib 和 Seaborn 中的…...

编程日记 2023/8/27 1:47:04

element-template-admin get请求正常 post请求超市问题

最近搞全栈，想写个增删改查连接element-template-admin框架，postman测get和post请求都正常，到框架里直接超时，看网络请求一直是padding状态，后来经查阅资料，发现是这个template框架的问题 解决方案&#x…...

编程日记 2023/8/27 1:46:02

Promise.all和promise.race的应用场景举例

Promise.all( ).then( )适用于处理多个异步任务&#xff0c;且所有的异步任务都得到结果时的情况。 <template><div class"box"><el-button type"primary" plain click"clickFn">点开弹出框</el-button></div> &…...

编程日记 2023/8/27 1:45:00

go学习-指针 标识符

指针&#xff0c;以及标识符 1.指针 &#xff08;1&#xff09;.基本介绍 1&#xff09;基本数据类型&#xff0c;变量存的值&#xff0c;也叫值类型 2&#xff09;获取变量的地址用&&#xff0c;比如 var num int ,获取num的地址&#xff1a;&num 3)指针类型&…...

编程日记 2023/8/27 1:43:58

LeetCode--HOT100题（42）

目录 题目描述&#xff1a;108. 将有序数组转换为二叉搜索树&#xff08;简单&#xff09;题目接口解题思路代码 PS: 题目描述&#xff1a;108. 将有序数组转换为二叉搜索树&#xff08;简单&#xff09; 给你一个整数数组 nums &#xff0c;其中元素已经按 升序 排列&#xf…...

编程日记 2023/8/27 1:42:54

leetcode-49.字母异位词分组-day20

...

编程日记 2023/8/27 1:41:53

YOLOv8教程系列：三、K折交叉验证——让你的每一份标注数据都物尽其用（yolov8目标检测+k折交叉验证法）

YOLOv8教程系列&#xff1a;三、K折交叉验证——让你的每一份标注数据都物尽其用&#xff08;yolov8目标检测k折交叉验证法&#xff09; 0.引言 k折交叉验证&#xff08;K-Fold Cross-Validation&#xff09;是一种在机器学习中常用的模型评估技术&#xff0c;用于估计模型的性…...

编程日记 2023/8/27 1:40:51

leetcode算法题--表示数值的字符串

原题链接&#xff1a;https://leetcode.cn/problems/biao-shi-shu-zhi-de-zi-fu-chuan-lcof/description/?envTypestudy-plan-v2&envIdcoding-interviews 题目类型有点新颖&#xff0c;有限状态机 // CharType表示当前字符的类型 // State表示当前所处的状态 type State…...

编程日记 2023/8/27 1:39:51

Docker安装及Docker构建简易版Hadoop生态

一、首先在VM创建一个新的虚拟机将Docker安装好 更新系统&#xff1a;首先打开终端&#xff0c;更新系统包列表。 sudo apt-get update sudo apt-get upgrade下图是更新系统包截图 安装Docker&#xff1a;使用以下命令在Linux上安装Docker。 sudo apt-get install -y docker.i…...

编程日记 2023/8/27 1:38:50

使用Burp Suite进行Web应用渗透测试

使用Burp Suite进行Web应用渗透测试是一种常见的方法&#xff0c;可以帮助发现Web应用程序中的安全漏洞和弱点。 步骤&#xff1a; 准备工作&#xff1a; 首先&#xff0c;确保已经安装了Burp Suite&#xff0c;并配置浏览器以使用Burp Suite作为代理。 配置代理&#xff1a;…...

编程日记 2023/8/27 1:37:48

Github的使用指南

首次创建仓库 1.官网创建仓库 打开giuhub官网&#xff0c;右上角点击你的头像&#xff0c;随后点击your repositories 点击New开始创建仓库 如下图为创建仓库的选项解释 出现如下界面就可以进行后续的git指令操作了 2.git上传项目 进入需上传项目的所在目录&#xff0c;打开…...

编程日记 2023/8/27 1:36:46

mongodb 添加加点 stateStr 停在 STARTUP

解决办法 PRIMARY 节点是的host 是否是内网IP&#xff0c;如果是内网IP 需要切换成外网IP 即可&#xff1b;...

编程日记 2023/8/27 1:35:46

c语言中编译过程与预处理

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、c语言的编译与链接1、编译与链接概述2、编译与链接详解 二、c语言预处理1.c语言中内置的预定义符号2、#define定义标识符3、#define定义宏4、#define 替换规…...

编程日记 2023/8/27 1:34:45

TP-LINK 路由器设置内网穿透

TP-LINK 路由器设置内网穿透 开发中经常遇到调用第三方软件回调调试的情况&#xff0c;例如微信开发&#xff0c;支付回调等测试&#xff0c;用内网穿透是一种简单的方式也是偷懒的方式。 以TP-LINK路由器为例实现内网穿透 登录路由器 2.找到路由器虚拟服务器&#xff0c;添加…...

编程日记 2023/8/27 1:33:44

A 题国际旅游网络的大数据分析-详细解析与代码答案（2023 年全国高校数据统计与调查分析挑战赛

请你们进行数据统计与调查分析&#xff0c;使用附件中的数据&#xff0c;回答下列问题&#xff1a; ⚫ 问题 1: 请进行分类汇总统计&#xff0c;计算不同国家 1995 年至 2020 年累计旅游总人数&#xff0c;从哪个国家旅游出发的人数最多&#xff0c;哪个国家旅游到达的人数最多…...

编程日记 2023/8/27 1:32:43

《深入理解Java虚拟机》读书笔记： 类加载器

类加载器 虚拟机设计团队把类加载阶段中的“通过一个类的全限定名来获取描述此类的二进制字节流”这个动作放到Java虚拟机外部去实现&#xff0c;以便让应用程序自己决定如何去获取所需要的类。实现这个动作的代码模块称为“类加载器”。 类加载器可以说是Java语言的一项创新&…...

编程日记 2023/8/27 1:31:41

宝塔计划任务读取文件失败

想挂计划任务 相关文章【已解决】计划任务读取文件失败 - Linux面板 - 宝塔面板论坛 对方反馈的是执行下面的命令 chattr -ai /var/spool/cron 后来发现直接没有这个文件夹&#xff0c;然后通过mkdir命令创建文件夹&#xff0c;成功在宝塔创建了计划任务 后面发现任务虽然添…...

编程日记 2023/8/27 1:30:39

Python操作sql，备份数据库

1、批量执行sql import pymysql# 执行批量的 SQL 语句 def executeBatchSql(cursor, sqlStatements):for sql in sqlStatements:try:cursor.execute(sql)print(Executed SQL statement:, sql)except Exception as e:print(Error executing SQL statement:, e)# 创建数据库连接…...

编程日记 2023/8/27 1:29:39

Linux线程 --- 生产者消费者模型（C语言）

在学习完线程相关的概念之后&#xff0c;本节来认识一下Linux多线程相关的一个重要模型----“ 生产者消费者模型” 本文参考&#xff1a; Linux多线程生产者与消费者_红娃子的博客-CSDN博客 Linux多线程——生产者消费者模型_linux多线程生产者与消费者_两片空白的博客-CSDN博客…...

编程日记 2023/8/27 1:28:38

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…...

编程新知 2026/2/8 4:37:27

19c补丁后oracle属主变化，导致不能识别磁盘组

补丁后服务器重启&#xff0c;数据库再次无法启动 ORA01017: invalid username/password; logon denied Oracle 19c 在打上 19.23 或以上补丁版本后&#xff0c;存在与用户组权限相关的问题。具体表现为&#xff0c;Oracle 实例的运行用户&#xff08;oracle&#xff09;和集…...

编程新知 2026/2/8 4:37:10

ES6从入门到精通：前言

ES6简介 ES6&#xff08;ECMAScript 2015&#xff09;是JavaScript语言的重大更新&#xff0c;引入了许多新特性&#xff0c;包括语法糖、新数据类型、模块化支持等&#xff0c;显著提升了开发效率和代码可维护性。 核心知识点概览 变量声明 let 和 const 取代 var&#xf…...

编程新知 2025/8/18 16:42:44

【JavaEE】-- HTTP

1. HTTP是什么&#xff1f; HTTP&#xff08;全称为"超文本传输协议"&#xff09;是一种应用非常广泛的应用层协议&#xff0c;HTTP是基于TCP协议的一种应用层协议。 应用层协议&#xff1a;是计算机网络协议栈中最高层的协议&#xff0c;它定义了运行在不同主机上…...

编程新知 2026/1/26 21:34:05

Oracle查询表空间大小

1 查询数据库中所有的表空间以及表空间所占空间的大小 SELECTtablespace_name,sum( bytes ) / 1024 / 1024 FROMdba_data_files GROUP BYtablespace_name; 2 Oracle查询表空间大小及每个表所占空间的大小 SELECTtablespace_name,file_id,file_name,round( bytes / ( 1024 …...

编程新知 2025/11/8 0:24:13

最新SpringBoot+SpringCloud+Nacos微服务框架分享

文章目录 前言一、服务规划二、架构核心1.cloud的pom2.gateway的异常handler3.gateway的filter4、admin的pom5、admin的登录核心 三、code-helper分享总结 前言 最近有个活蛮赶的&#xff0c;根据Excel列的需求预估的工时直接打骨折&#xff0c;不要问我为什么&#xff0c;主要…...

编程新知 2026/2/1 23:39:12

QT： `long long` 类型转换为 `QString` 2025.6.5

在 Qt 中&#xff0c;将 long long 类型转换为 QString 可以通过以下两种常用方法实现&#xff1a; 方法 1&#xff1a;使用 QString::number() 直接调用 QString 的静态方法 number()&#xff0c;将数值转换为字符串&#xff1a; long long value 1234567890123456789LL; …...

编程新知 2026/2/1 6:30:04

mysql已经安装，但是通过rpm -q 没有找mysql相关的已安装包

文章目录 现象&#xff1a;mysql已经安装&#xff0c;但是通过rpm -q 没有找mysql相关的已安装包遇到 rpm 命令找不到已经安装的 MySQL 包时&#xff0c;可能是因为以下几个原因&#xff1a;1.MySQL 不是通过 RPM 包安装的2.RPM 数据库损坏3.使用了不同的包名或路径4.使用其他包…...

编程新知 2026/2/4 16:17:25

Spring AI与Spring Modulith核心技术解析

Spring AI核心架构解析 Spring AI&#xff08;https://spring.io/projects/spring-ai&#xff09;作为Spring生态中的AI集成框架&#xff0c;其核心设计理念是通过模块化架构降低AI应用的开发复杂度。与Python生态中的LangChain/LlamaIndex等工具类似&#xff0c;但特别为多语…...

编程新知 2025/12/14 17:38:21

Unity | AmplifyShaderEditor插件基础（第七集：平面波动shader）

目录 一、&#x1f44b;&#x1f3fb;前言 二、&#x1f608;sinx波动的基本原理 三、&#x1f608;波动起来 1.sinx节点介绍 2.vertexPosition 3.集成Vector3 a.节点Append b.连起来 4.波动起来 a.波动的原理 b.时间节点 c.sinx的处理 四、&#x1f30a;波动优化…...

编程新知 2026/2/6 22:55:12