(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111667489.4 (22)申请日 2021.12.31 (71)申请人 上海商汤智能科技有限公司 地址 200233 上海市徐汇区桂平路391号3 号楼1605A室 (72)发明人 金国强　杨帆　孙明珊　刘亚坤　 李韡　暴天鹏　吴立威　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 代理人 贾伟　王黎延 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 模型训练及图像处理方法、 装置、 设备、 存储 介质 (57)摘要 本申请实施例公开了一种模型训练及图像 处理方法、 装置、 设备、 存储介质及计算机程序产 品， 其中该方法包括： 获取第一增广图像和第二 增广图像； 利用第一模型对第一增广图像进行目 标检测得到至少一个包括第一预测对象序列的 第一检测结果， 利用第二模型对第二增广图像进 行目标检测得到至少一个包括第二预测对象序 列的第二检测结果； 对每一第一预测对象序列和 每一第二预测对象序列进行匹配得到至少一对 具有目标匹配关系的第一预测对象序列和第二 预测对象序列； 基于每一对具有目标匹配关系的 第一预测对象序列和第二预测对象序列对第一 模型的模型参数进行至少一次更新， 得到训练后 的第一模型。 权利要求书5页 说明书22页 附图5页 CN 114359592 A 2022.04.15 CN 114359592 A 1.一种模型训练方法， 其特 征在于， 所述方法包括： 获取分别对第一图像样本进行增广处 理后得到的第一增广图像和第二增广图像； 利用待训练的第一模型， 对所述第一增广图像进行目标检测， 得到至少一个包括第一 预测对象序列的第一检测结果， 并利用第二模型， 对所述第二增广图像进 行目标检测， 得到 至少一个包括第二预测对象序列的第二检测结果； 对每一所述第 一预测对象序列和每一所述第 二预测对象序列进行匹配， 得到至少一对 具有目标匹配关系的第一预测对象序列和第二预测对象序列； 基于每一对具有目标匹配关系的第 一预测对象序列和第 二预测对象序列， 对所述第 一 模型的模型参数进行至少一次更新， 得到训练后的所述第一模型。 2.根据权利要求1所述的方法， 其特征在于， 所述基于每一对具有目标匹配关系的第 一 预测对象序列和第二预测对 象序列， 对所述第一模型 的模型参数进行至少一次更新， 得到 训练后的所述第一模型， 包括： 基于每一对具有目标匹配关系的第一预测对象序列和第二预测对象序列之间的相似 度， 确定目标损失值； 在所述目标损 失值不满足预设条件的情况下， 对所述第一模型的模型参数进行更新， 得到更新后的第一模型； 基于更新后的第一模型， 确定训练后的所述第一模型。 3.根据权利要求2所述的方法， 其特征在于， 所述在所述目标损失值不满足预设条件的 情况下， 对所述第一模型的模型参数进行 更新， 得到更新后的第一模型， 包括： 在所述目标损失值不满足预设条件的情况下， 分别对所述第 一模型的模型参数和所述 第二模型的模型参数进行 更新， 得到更新后的第一模型和更新后的第二模型； 所述基于更新后的第一模型， 确定训练后的所述第一模型， 包括： 基于更新后的第一模型和更新后的第二模型， 确定训练后的所述第一模型。 4.根据权利要求3所述的方法， 其特征在于， 所述分别对所述第 一模型的模型参数和所 述第二模型的模型参数进行 更新， 得到更新后的第一模型和更新后的第二模型， 包括： 基于所述第一模型当前的模型参数， 对所述第二模型的模型参数进行动量更新， 得到 更新后的第二模型； 采用梯度更新的方式， 对所述第一模型当前的模型参数进行更新， 得到更新后的第一 模型。 5.根据权利要求3或4所述的方法， 其特征在于， 所述基于更新后的第一模型和更新后 的第二模型， 确定训练后的所述第一模型， 包括： 将对下一第 一图像样本分别进行增广处理后得到的第 一增广图像和第 二增广图像， 分 别确定为当前第一增广图像和当前第二增广图像； 利用当前更新后的第一模型， 对所述当前第一增广图像进行目标检测， 得到至少一个 包括第一预测对 象序列的第一检测结果， 并利用当前更新后的第二模型， 对所述当前第二 增广图像进行目标检测， 得到 至少一个包括第二预测对象序列的第二检测结果； 对每一所述第 一预测对象序列和每一所述第 二预测对象序列进行匹配， 得到至少一对 具有目标匹配关系的第一预测对象序列和第二预测对象序列； 基于每一对具有目标匹配关系的第一预测对象序列和第二预测对象序列之间的相似权　利　要　求　书 1/5 页 2 CN 114359592 A 2度， 确定当前目标损失值； 在所述当前目标损失值满足所述预设条件或对所述第一模型的模型参数进行更新的 次数达到次数阈值的情况下， 将所述当前更新后的第一模型确定为训练后的所述第一模 型。 6.根据权利要5所述的方法， 其特征在于， 所述基于更新后的第 一模型和更新后的第 二 模型， 确定训练后的所述第一模型， 还 包括： 在所述当前目标损失值不满足预设条件的情况下， 分别对所述第 一模型的模型参数和 所述第二模型的模型参数进行下一次更新， 得到下一次更新后的第一模型和下一次更新后 的第二模型； 基于所述下一 次更新后的第 一模型和所述下一 次更新后的第 二模型， 确定训练后的所 述第一模型。 7.根据权利要求2至6中任一项所述的方法， 其特征在于， 所述第一检测结果还包括与 所述第一检测结果中的第一预测对象序列对应的第一对象区域和 第一对象类别； 所述方法 还包括： 获取所述第 一图像样本 中的至少一个候选对象， 每一所述候选对象具有候选对象区域 和候选对象类别； 基于每一所述第 一预测对象序列对应的第 一对象区域和第 一对象类别、 以及每一所述 候选对象的候选对象区域和候选对象类别， 对每一所述第一预测对象序列和每一所述候选 对象进行匹配， 得到 至少一对具有目标匹配关系的第一预测对象序列和候选对象； 所述基于每一对具有目标匹配关系的第一预测对象序列和第二预测对象序列之间的 相似度， 确定目标损失值， 包括： 基于每一对具有目标匹配关系的第一预测对象序列和第二预测对象序列之间的相似 度， 确定第一损失值； 基于每一对具有目标匹配关系的第一预测对象序列和候选对象， 确定第二损失值； 基于所述第一损失值和所述第二损失值， 确定目标损失值。 8.根据权利要求7所述的方法， 其特征在于， 所述基于每一对具有目标匹配关系的第 一 预测对象序列和候选对象， 确定第二损失值， 包括： 针对每一对具有目标匹配关系的第 一预测对象序列和候选对象， 基于所述第 一预测对 象序列对应的第一对 象区域和所述候选对 象的候选对 象区域， 确定一第一子损失值， 并基 于所述第一预测对象序列对应的第一对象类别与所述候选对象的候选对象类别， 确定一第 二子损失值； 基于每一所述第一子损失值和每一所述第二子损失值， 确定第二损失值。 9.根据权利要求7或8所述的方法， 其特征在于， 所述获取所述第一图像样本中的至少 一个候选对象， 每一所述 候选对象具有候选对象区域和候选对象类别， 包括： 采用无监督方式， 对所述第一图像样本进行目标检测， 得到至少一个预测对象区域以 及每一所述预测对象区域的伪标签； 每一所述预测对象区域的伪标签用于表征所述预测对 象区域的预测对象类别； 针对每一所述预测对象区域， 将所述预测对象区域作为候选对象区域， 并将所述预测 对象区域的伪标签作为 候选对象类别， 得到一个候选对象。权　利　要　求　书 2/5 页 3 CN 114359592 A 3