(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111658102.9 (22)申请日 2021.12.31 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 倪欣　谢海永　吴曼青　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 代理人 张博 (51)Int.Cl. G06V 40/16(2022.01) G06T 5/00(2006.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 人脸补全模型的训练方法、 人脸补全 方法及 系统 (57)摘要 本发明公开了一种人脸补全模型的训练方 法， 包括： 获取人脸的训练样本图像； 构建人脸补 全模型， 其中， 人脸补全模型包括生成器、 判别器 和人脸验证器； 利用生成器处理遮罩人脸图像， 生成补全人脸图像； 利用人脸验证器处理原始人 脸图像、 补全人脸图像和人脸验证图像， 获取人 脸验证器的三元组损失结果； 利用人脸验证器的 损失函数， 根据三元组损失结果， 迭代优化人脸 验证器， 获得训练完成的人脸验证器； 利用训练 样本图像和训练完成的人脸验证器， 迭代训练生 成器和判别器， 获得训练完成的生成器和训练完 成的判别器， 完成人脸补全模型的训练。 本发明 同时还公开了人脸补全方法、 人脸补全系统、 用 于人脸补全的电子设备和计算机程序 产品。 权利要求书2页 说明书10页 附图7页 CN 114299590 A 2022.04.08 CN 114299590 A 1.一种人脸补全 模型的训练方法， 包括： 获取人脸的训练样本图像， 其中， 所述人脸的训练样本图像包括原始人脸图像、 遮罩人 脸图像和人脸验证图像； 构建人脸补全 模型， 其中， 所述人脸补全 模型包括 生成器、 判别器和人脸验证 器； 利用所述 生成器处 理所述遮罩人脸图像， 生成补全人脸图像； 利用所述人脸验证器处理所述原始人脸图像、 所述补全人脸图像和所述人脸验证图 像， 获取人脸验证 器的三元组损失结果； 利用人脸验证器的损失函数， 根据所述三元组损失结果， 迭代优化所述人脸验证器， 获 得训练完成的人脸验证 器； 利用所述训练样本图像和所述训练完成的人脸验证器， 迭代训练所述生成器和所述判 别器， 获得训练完成的生成器和训练完成的判别器， 完成人脸补全 模型的训练。 2.根据权利要求1所述的方法， 其中， 所述遮罩人脸图像通过利用所述原始人脸图像和 遮罩区域 生成； 其中， 所述 生成器包括编码器、 解码器和残差网络； 其中， 所述编码器包括多个卷积层、 多个归一 化层、 多个非线性激励 层； 其中， 所述解码器包括多个卷积层、 多个归一化层、 多个非线性激励层和多个空间注意 力层； 其中， 所述残差网络包括多个卷积层和多个非线性激励 层。 3.根据权利要求1所述的方法， 其中， 所述 三元组损失结果由公式(1)表示： 其中， 表示所述三元组损失结果， Igt表示所述原始人脸图像， Iout表示所述补全人 脸图像， Ins表示所述人脸验证图像， m表示大于 0的常数； 其中， 所述人脸验证 器损失函数由公式(2)表示： 4.根据权利要求1所述的方法， 其中， 获得训练完成的生成器包括： 利用所述 生成器生成补全人脸图像； 将所述补全人脸图像输入到所述训练完成的人脸验证 器， 获取输出 结果； 将所述补全人脸图像输入到所述判别器中， 获取判别结果； 将所述输出 结果和所述判别结果进行运 算， 获得运 算结果； 利用所述 运算结果， 根据所述 生成器的损失函数， 优化所述 生成器； 迭代进行生成操作、 输出操作、 判别操作、 运算操作和优化操作， 获得所述训练完成的 生成器。 5.根据权利要求1所述的方法， 其中， 获得 所述训练完成的判别器包括： 将所述生成器生成的补全人脸图像和所述真实人脸图像输入到所述判别器中， 获得判 别结果； 根据所述判别结果， 利用所述判别器损失函数， 优化所述判别器； 迭代进行判别操作和优化操作， 获得训练完成的判别器。权　利　要　求　书 1/2 页 2 CN 114299590 A 26.根据权利要求5所述的方法， 其中， 所述判别器损失函数由公式(3)表示： 其中， DT是表示所述判别器， pdata表示真实数据分布， pg是生成的分布。 7.一种人脸补全方法， 包括： 获取待补全的人脸图像； 构建人脸补全 模型， 其中， 所述人脸补全 模型由权利要求1 ‑6所述的方法训练得到； 利用所述人脸补全模型处理所述待补全的人脸图像， 获得补全的人脸图像并输出所述 补全的人脸图像。 8.一种人脸补全系统， 包括： 图像获取模块， 用于获取待补全的人脸图像； 模型构建模块， 用于构建人脸补全模型， 其中， 所述人脸补全模型由权利要求1 ‑6所述 的方法训练得到； 图像输出模块， 用于利用所述人脸补全模型处理所述待补全的人脸图像， 获得补全的 人脸图像并输出 所述补全的人脸图像。 9.一种电子设备， 包括： 存储装置， 用于存 储一个或多个程序， 其中， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个 处理器执行根据权利要求1 ‑7中任一项所述的方法。 10.一种计算机可读存储介质， 其上存储有可执行指令， 该指令被处理器执行时使处理 器执行根据权利要求1～7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114299590 A 3