(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111602629.X (22)申请日 2021.12.24 (71)申请人 阿里巴巴 （中国） 有限公司 地址 310052 浙江省杭州市滨江区长河街 道网商路69 9号4号楼5楼5 08室 (72)发明人 王哲　 (74)专利代理 机构 北京太合九思知识产权代理 有限公司 1 1610 代理人 刘戈　柴艳波 (51)Int.Cl. G06T 3/00(2006.01) G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像处理方法、 图像处 理系统及电子设备 (57)摘要 本申请实施例提供一种图像处理方法、 图像 处理系统及电子设备。 本申请实施例提供的图像 处理方法中， 确定与用户图像适配虚拟形象对应 的第一虚拟形象参数， 并结合用户图像的特征信 息对第一虚拟形象参数进行优化， 以根据优化后 的第一虚拟形象参数生成第一虚拟形象图。 本申 请实施例提供的方案利用用户图像特征对第一 虚拟形象参数进行优化， 以便于基于优化后的第 一虚拟形象参数生成相应的第一虚拟形象图， 虚 拟形象图与用户图像的相似度高， 效果 好。 权利要求书3页 说明书15页 附图6页 CN 114266695 A 2022.04.01 CN 114266695 A 1.一种图像处 理方法， 其特 征在于， 包括： 获取用户图像； 确定与所述用户图像适配的虚拟形象对应的第一虚拟形象参数； 提取所述用户图像的特 征信息； 结合所述特 征信息， 优化所述第一虚拟形象参数； 根据优化后的所述第一虚拟形象参数， 生成第一虚拟形象图。 2.根据权利要求1所述的方法， 其特征在于， 所述第一虚拟形象参数包括： 反映虚拟形 象特征的多个第一离 散参数及多个第一连续 参数； 以及 结合所述特 征信息， 优化所述第一虚拟形象参数， 包括： 基于所述特征信息， 对所述多个第一离散参数进行取值优化处理， 以优化所述多个第 一离散参数中的至少部分参数的取值； 利用美型优化算法， 对所述多个第 一连续参数及取值优化处理后的所述多个第 一离散 参数进行美型优化。 3.根据权利要求2所述的方法， 其特征在于， 基于所述特征信息， 对所述多个第一离散 参数进行 取值优化处 理， 以优化所述多个第一离 散参数中的至少部分参数的取值， 包括： 根据所述特 征信息， 生成特 征模板； 在所述多个第一离 散参数中， 确定所述特 征模板对应的目标离 散参数； 利用模板匹配算法， 在特 征素材集中检索出与所述特 征模板匹配的目标 素材； 将所述目标离 散参数的取值赋值 为所述目标 素材对应的素 材标识。 4.根据权利要求1至3中任一项所述的方法， 其特征在于， 利用图像处理模型确定所述 第一虚拟形象参数； 以及所述方法还 包括： 将第二虚拟形象图输入风格化模型， 执 行所述风格化模型输出 人物图像； 获取所述第二虚拟形象图对应的第二虚拟形象参数； 将人物图像及所述第二虚拟形象参数作为样本对添加至训练样本； 利用训练样本中的样本对， 对所述图像处 理模型进行训练。 5.根据权利要求4所述的方法， 其特征在于， 所述第 二虚拟形 象参数包括多个第 二离散 参数及多个第二连续 参数； 以及 利用训练样本中的样本对， 对所述图像处 理模型进行训练， 包括： 将所述样本对中的人物图像输入所述图像处理模型， 执行所述图像处理模型输出第 三 虚拟形象参数； 其中， 所述第三虚拟形象参数包括多个第三离 散参数及多个第三连续 参数； 基于所述多个第 三离散参数及所述样本对中的所述多个第 二离散参数， 确定离散参数 损失； 根据所述多个第 三连续参数及所述样本对中的所述多个第 二连续参数， 确定连续参数 损失； 基于所述离 散参数损失及所述连续 参数损失， 对所述图像处 理模型进行优化。 6.根据权利要求 4所述的方法， 其特 征在于， 还 包括： 将随机生成的第三虚拟形象图置 于第一数据集； 将从网络侧获得的人物图像置 于第二数据集； 利用所述第一数据集及所述第二数据集， 对风格化模型进行训练。权　利　要　求　书 1/3 页 2 CN 114266695 A 27.根据权利要求6所述的方法， 其特征在于， 所述风格化模型包括循环生成对抗网络； 以及 利用所述第一数据集和所述第二数据集， 对所述 风格化模型进行训练， 包括： 将所述第一数据集中的第 三虚拟形象图输入所述循环生成对抗网络， 执行所述循环生 成对抗网络得到第一输出 结果； 根据所述第一输出 结果及所述第三虚拟形象图， 确定第一循环一 致性损失； 利用人物识别模型， 确定所述第一输出结果与所述第三虚拟形象的第一全局表观损 失； 利用人体语义分割模型， 确定所述第 一输出结果与所述第 三虚拟形 象的第一局部特征 损失； 将所述第二数据集中的人物图像输入所述循环生成对抗网络， 执行所述循环生成对抗 网络得到第二输出 结果； 根据所述第二输出 结果及输入的所述人物图像， 确定第二循环一 致性损失； 利用人物 识别模型， 确定所述第二输出 结果与所述人物图像的第二全局表 观损失； 利用人体语义分割模型， 确定所述第二输出结果与所述人物图像的第二局部特征损 失； 根据所述第一循环一致性损失、 所述第一全局表观损失、 所述第一局部特征损失、 所述 第二循环一致性损失、 所述第二全局表观损失及所述第二局部特征损失， 对所述循环生成 对抗网络进行优化。 8.一种图像处 理方法， 其特 征在于， 包括： 响应于用户触发的输入操作， 获取用户图像； 确定所述用户图像对应的捏脸 参数； 提取所述用户图像的特 征信息； 结合所述特 征信息， 优化所述捏脸 参数； 调用图像生成引擎， 使得所述图像生成引擎按照优化后的所述捏脸参数生成虚拟形象 图； 显示所述虚拟形象图。 9.根据权利要求8所述的方法， 其特 征在于， 还 包括： 从服务端获取已完成训练的图像处理模型； 其中， 所述图像处理模型的训练样本是利 用风格化模型构建的， 所述风格化模型是利用所述图像生成引擎随机生成的虚拟形象图以 及从网络侧获得的人物图像训练得到的； 将所述图像处理模型存于本地， 以利用所述图像处理模型确定所述用户图像对应的捏 脸参数。 10.根据权利要求8或9所述的方法， 其特征在于， 所述捏脸参数包括： 多个离散参数和 多个连续 参数； 以及 结合所述特 征信息， 优化所述捏脸 参数， 包括： 基于所述特征信息， 对所述多个离散参数进行取值优化处理， 以优化所述多个离散参 数中的至少部分参数的取值； 利用美型优化算法， 对所述多个连续参数及取值优化处理后的所述多个离散参数进行权　利　要　求　书 2/3 页 3 CN 114266695 A 3