(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111653899.3 (22)申请日 2021.12.3 0 (71)申请人 北京爱奇艺科技有限公司 地址 100080 北京市海淀区海淀北一 街2号 11层1101 (72)发明人 毕泊　 (74)专利代理 机构 北京银龙知识产权代理有限 公司 11243 代理人 龚素素 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/10(2022.01) G06V 10/40(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01)G06K 9/62(2022.01) (54)发明名称 角色特征提取模 型的训练方法、 角色识别方 法及相关 设备 (57)摘要 本发明实施例提供了一种角色特征提取模 型的训练方法、 角色识别方法及相关设备， 角色 特征提取模 型的训练方法包括： 将多个第一样本 图像输入至角色特征提取模型中进行第N次角色 特征提取， 获得第一角色特征信息； 基于第一角 色特征信息对多个第一样本图像进行聚类处理， 获得至少两个第一聚类簇， 每一第一聚类簇均包 括对应一个角色类别的至少一个第二样本图像； 基于第二样本图像对待训练特征提取模型进行 迭代训练； 基于训练好的待训练特征提取模型更 新角色特征提取模型； 在目标占比大于或等于预 设占比的情况下， 更新后的角色特征提取模型用 于对多个第一样本图像进行第N+1次角色特征提 取。 本发明实施例提供的方法可以识别出视频中 的图像对应的角色。 权利要求书3页 说明书16页 附图3页 CN 114333022 A 2022.04.12 CN 114333022 A 1.一种角色特 征提取模型的训练方法， 其特 征在于， 包括： 将多个第一样本 图像输入至角色特征提取模型中进行第N次角色特征提取， 获得第一 角色特征信息， N 为正整数； 基于所述第 一角色特征信 息对所述多个第 一样本图像进行聚类处理， 获得至少两个第 一聚类簇， 每一所述第一聚类簇均包括对应一个角色类别的至少一个第二样本图像； 基于所述第二样本图像对待训练特 征提取模型进行迭代训练； 基于训练好的所述待训练特 征提取模型 更新所述角色特 征提取模型； 其中， 在目标占比大于或等于预设占比的情况下， 更新后的角色特征提取模型用于对 多个所述第一样本图像进行第N+1次角色特征提取； 所述目标占比为 目标聚类簇在所述至 少两个第一聚类簇中的占比， 所述目标聚类簇包括的第二样本图像的图像质量均大于预设 质量。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 二样本图像对待训练特征 提取模型进行迭代训练， 包括： 将第二样本图像输入至所述待训练特征提取模型进行特征提取， 获得第 二角色特征信 息； 基于所述第 二角色特征信 息对所述第 二样本图像进行聚类处理， 获得至少两个第 二聚 类簇， 每一所述第二聚类簇均包括对应一个所述角色类别的至少一个第三样本图像； 判断损失值是否满足损失收敛条件， 所述损失值基于所述第 二样本图像和所述第 三样 本图像确定； 在所述损失值不满足所述损失收敛条件的情况下， 基于所述损失值对所述待训练特征 提取模型进行参数调整； 在所述损失值满足所述损失收敛条件的情况下， 将当前训练好的 所述待训练特 征提取模型确定为所述训练好的所述待训练特 征提取模型。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 二样本图像对待训练特征 提取模型进行迭代训练， 包括： 基于目标样本图像对待训练特征提取模型进行迭代训练， 所述目标样本图像为所述目 标聚类簇包括的第二样本图像。 4.根据权利要求3所述的方法， 其特征在于， 所述基于目标样本图像对待训练特征提取 模型进行迭代训练， 包括： 对目标样本图像进行 预设处理得到第四样本图像； 基于所述目标样本图像和所述第四样本图像对待训练特 征提取模型进行迭代训练。 5.根据权利要求2所述的方法， 其特 征在于， 基于所述第一角色特征信息对所述多个第一样本图像进行聚类处理的聚类方法为第 一聚类方法； 基于所述第二角色特征信息对所述第二样本图像进行聚类处理的聚类方法为第二聚 类方法； 所述第一聚类方法与所述第二聚类方法不同。 6.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 一角色特征信 息对所述多 个第一样本图像进行聚类处 理， 获得至少两个第一聚类簇， 包括： 基于所述第 一角色特征信 息对所述多个第一样本图像执行M次聚类操作， 得到第M聚类权　利　要　求　书 1/3 页 2 CN 114333022 A 2簇； 在所述第M聚类簇满足预设结束条件的情况 下， 将所述第M聚类簇确定为第一聚类簇； 其中， 第T+1次聚类操作包括： 基于第一子角色特征信息和第二子角色特征信息计算第一子聚类簇和第二子聚类簇 之间的相似度， 所述第一子角色特征信息为所述第一子聚类簇对应的第一角色特征信息， 所述第二子角色特征信息为所述第二子聚类簇对应的第一角色特征信息； 所述第一子聚类 簇和第二子聚类簇为任意两个第T聚类簇； 在所述第一子聚类簇和所述第 二子聚类簇之间的相似度小于预设值的情况下， 将所述 第一子聚类簇和 第二子聚类簇合并为一个第T+1聚类簇； T和M均为大于1的正整 数， 且T小于 或等于M。 7.根据权利要求1所述的方法， 其特征在于， 所述角色特征信 息包括人脸特征信 息和以 下至少一项： 服饰特 征信息、 配 饰特征信息和背景图像特 征信息。 8.一种角色识别方法， 其特 征在于， 包括： 将多个待处理图像输入到角色特征提取模型进行角色特征提取， 获得目标角色特征信 息； 基于所述目标角色特征信 息对所述多个待处理图像进行聚类处理， 获得至少两个角色 聚类簇， 每一所述角色聚类簇均包括对应一个角色类别的至少一个角色样本图像； 其中， 所述角色特征提取模型利用如权利要求1至7中任一项所述的角色特征提取模型 的训练方法训练获得。 9.一种角色特 征提取模型的训练装置， 其特 征在于， 包括： 第一特征提取模块， 用于将多个第一样本 图像输入至角色特征提取模型中进行第N次 角色特征提取， 获得第一角色特 征信息， N 为正整数； 第一聚类处理模块， 用于基于所述第 一角色特征信 息对所述多个第 一样本图像进行聚 类处理， 获得至少 两个第一聚类簇， 每一所述第一聚类簇均包括对应一个角色类别的至少 一个第二样本图像； 迭代训练模块， 用于基于所述第二样本图像对待训练特 征提取模型进行迭代训练； 更新模块， 用于基于训练好的所述待训练特 征提取模型 更新所述角色特 征提取模型； 其中， 在目标占比大于或等于预设占比的情况下， 更新后的角色特征提取模型用于对 多个所述第一样本图像进行第N+1次角色特征提取； 所述目标占比为 目标聚类簇在所述至 少两个第一聚类簇中的占比， 所述目标聚类簇包括的第二样本图像的图像质量均大于预设 质量。 10.一种角色识别装置， 其特 征在于， 包括： 第二特征提取模块， 用于将多个待处理图像输入到角色特征提取模型进行角色特征提 取， 获得目标角色特 征信息； 第二聚类处理模块， 用于基于所述目标角色特征信 息对所述多个待处理图像进行聚类 处理， 获得至少 两个角色聚类簇， 每一所述角色聚类簇均包括对应一个角色类别的至少一 个角色样本图像； 其中， 所述角色特征提取模型利用如权利要求1至7中任一项所述的角色特征提取模型 的训练方法训练获得。权　利　要　求　书 2/3 页 3 CN 114333022 A 3