(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210938861.9 (22)申请日 2022.08.05 (71)申请人 武汉烽火技术服务有限公司 地址 430205 湖北省武汉市东湖新 技术开 发区高新四路6号1号楼1 1层 申请人 武汉大学 (72)发明人 张盛辉　赵明明　李海涛　张磊　 王静　 (74)专利代理 机构 武汉智权专利代理事务所 (特殊普通 合伙) 42225 专利代理师 余浩 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/16(2022.01) G06V 40/40(2022.01)G06V 10/28(2022.01) G06V 10/44(2022.01) G06V 10/56(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 唇形修改伪造视频检测方法、 装置、 设备及 存储介质 (57)摘要 本发明公开了一种唇形修改伪造视频检测 方法、 装置、 设备及存储介质， 所述方法通过提取 待检测视频的唇部区域图像， 获取所述唇部区域 图像中的图像特征； 使用视频数据集中的训练集 对随机森 林模型进行训练， 获得训练好的随机森 林模型； 将所述图像特征输入至训练好的随机森 林， 判断所述待检测视频为真视频或伪造视频， 能够快速判断视频真伪， 加快对视频数据的训练 速度和效率， 避免了视频中图像抖动现象影响特 征提取， 提高了视频帧的嘴唇动作检测准确度和 特征提取的速度， 降低了噪音点或异常点对视频 唇形检测的影 响， 保证了较高的视频人物唇形检 测精度， 提升了对唇形修改伪造视频的检测正确 率， 提升了唇形修改伪造视频检测的速度和效 率。 权利要求书2页 说明书12页 附图7页 CN 115424163 A 2022.12.02 CN 115424163 A 1.一种唇形修改伪造视频检测方法， 其特征在于， 所述唇形修改伪造视频检测方法包 括： 提取待检测视频的唇部区域图像， 获取 所述唇部区域图像中的图像特 征； 使用视频 数据集中的训练集对随机森林模型进行训练， 获得训练好的随机森林模型； 将所述图像特征输入至训练好的随机森林， 判断所述待检测视频为真视频或伪造视 频。 2.如权利要求1所述的唇形修改伪 造视频检测方法， 其特征在于， 所述提取待检测视频 的唇部区域图像， 获取 所述唇部区域图像中的图像特 征， 包括： 对待检测视频中每一帧图像进行灰度化处理并归一化， 获得灰度值数据标准化的目标 检测视频； 提取所述目标检测视频的唇部区域图像； 使用基础 特征提取网络FFE ‑Net和唇部代表特征提取及分类 网络RC‑Net对所述唇部区 域图像中的图像特 征进行提取。 3.如权利要求2所述的唇形修改伪 造视频检测方法， 其特征在于， 所述提取待检测视频 的唇部区域图像， 包括： 用人脸关键点检测算法提取 出待检测视频中人脸的关键点； 根据唇部区域坐标从所述关键点中获得唇部关键点， 根据 所述唇部关键点从所述待检 测视频中提取 出区域视频图像作为唇部区域图像。 4.如权利要求2所述的唇形修改伪 造视频检测方法， 其特征在于， 所述使用基础特征提 取网络FFE ‑Net和唇部代表特征提取及分类网络RC ‑Net对所述唇部区域图像中的图像特征 进行提取， 包括： 获取所述唇部区域图像中的人脸关键特征点坐标， 将所述人脸关键特征点坐标作为角 点特征； 通过calchist函数获得所述唇部区域图像的RGB三个通道的直方 图， 根据所述直方 图 确定图像二值化阈值， 根据所述图像二值化阈值获得对应RGB三个颜色中灰度分布的数据 特征； 采用基础特 征提取网络F FE‑Net提取所述唇部区域图像中的基础特 征； 采用唇部代表特征提取及分类网络RC ‑Net对所述唇部区域图像中的唇部特征进行提 取和分类。 5.如权利要求1所述的唇形修改伪 造视频检测方法， 其特征在于， 所述使用视频数据集 中的训练集对随机森林模型进行训练， 获得训练好的随机森林模型之前， 所述唇形修改伪 造视频检测方法还 包括： 由马尔科夫判别器、 SVM分类器、 DenseNet判别器、 XceptionNet判别器、 MesoInception‑4判别器作为五棵决策树， 根据所述五棵决策树组成随机森林模型。 6.如权利要求5所述的唇形修改伪 造视频检测方法， 其特征在于， 所述用视频数据集中 的训练集对随机森林模型进行训练， 获得训练好的随机森林模型， 包括： 根据预设随机比例从视频 数据集中获取对应的数据集作为训练集和 测试集； 根据所述训练集对随机森林模型中各判别器进行训练， 根据所述测试集对所述随机森 林模型中各分类 器进行测试， 获得训练好的随机森林模型。权　利　要　求　书 1/2 页 2 CN 115424163 A 27.如权利要求1所述的唇形修改伪 造视频检测方法， 其特征在于， 所述将所述图像特征 输入至训练好的随机森林， 判断所述待检测视频为真视频或伪造 视频， 包括： 将所述图像特征输入至训练好的随机森林， 获得所述随机森林中各 决策树对应的随机 森林众数， 根据所述随机森林 众数判断所述待检测视频为真视频或伪造 视频。 8.一种唇形修改伪造视频检测装置， 其特征在于， 所述唇形修改伪造视频检测装置包 括： 特征提取模块， 用于提取待检测视频的唇部区域图像， 获取所述唇部区域图像中的图 像特征； 训练模块， 用于使用视频数据集中的训练集对随机森林模型进行训练， 获得训练好的 随机森林模型； 判断模块， 用于将所述图像特征输入至训练好的随机森林， 判断所述待检测视频为真 视频或伪造 视频。 9.一种唇形修改伪造视频检测设备， 其特征在于， 所述唇形修改伪造视频检测设备包 括： 存储器、 处理器及存储在所述存储器上并可在所述处理器上运行 的唇形修改伪造视频 检测程序， 所述唇形修改伪造视频检测程序配置为实现如权利要求 1至7中任一项 所述的唇 形修改伪造 视频检测方法的步骤。 10.一种存储介质， 其特征在于， 所述存储介质上存储有唇形修改伪造视频检测程序， 所述唇形修改伪造视频检测 程序被处理器执行时实现如权利要求1至7中任一项所述的唇 形修改伪造 视频检测方法的步骤。权　利　要　求　书 2/2 页 3 CN 115424163 A 3