(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210324021.3 (22)申请日 2022.03.29 (71)申请人 阿里巴巴 （中国） 有限公司 地址 310056 浙江省杭州市滨江区长河街 道网商路69 9号4号楼5楼5 08室 (72)发明人 包祖贻　李辰　章波　张月　 曹俊杰　 (74)专利代理 机构 北京同钧律师事务所 16 037 专利代理师 杜叶蕊　许怀远 (51)Int.Cl. G06V 20/62(2022.01) G06V 30/19(2022.01) G06F 40/232(2020.01) G06F 40/30(2020.01) (54)发明名称 模型训练方法、 包装图像的识别方法及其装 置 (57)摘要 本申请提供一种模型训练方法、 包装图像的 识别方法及其装置。 该模型训练方法包括： 获取 第一包装图像对应的标注信息， 第一包装图像为 第一样本食品的包装图像； 解析标注信息， 得到 第一文本； 采用目标预设文本对第一文本进行至 少部分替换， 得到第二文本， 目标预设文本与第 一文本具有关联关系， 第二文本的语义是对第二 样本食品的描述； 根据第一文本和第二文本， 训 练食品分类模型， 得到训练完成的食品分类模 型。 本申请实施例采用目标预设文本对第一包装 图像上的第一文本进行至少部分替换， 实现训练 样本的扩充， 避免需要人工对各种食品的包装图 像上的字符进行标注来获得 足够的训练样本， 进 而降低了工作人员的标注工作量， 提高了模型训 练的效率。 权利要求书2页 说明书13页 附图6页 CN 114663874 A 2022.06.24 CN 114663874 A 1.一种模型训练方法， 其特 征在于， 包括： 获取第一包装图像对应的标注信 息， 所述标注信 息为所述第 一包装图像上的实际字符 信息， 所述第一包 装图像为第一样本食品的包 装图像； 解析所述标注信息， 得到第一文本， 所述第一文本的语义是对所述第一样本食品的描 述； 采用目标预设文本对所述第一文本进行至少部分替换， 得到第二文本， 所述目标预设 文本与所述第一文本具有关联关系， 所述第二文本的语义是对第二样本食品的描述； 根据所述第一文本和所述第二文本， 训练食品分类模型， 得到训练完成的食品分类模 型。 2.根据权利要求1所述的模型训练方法， 其特征在于， 所述解析所述标注信息， 得到第 一文本， 包括： 提取所述标注信息中与所述第一样本食品有关联关系的关联文本； 根据所述关联文本， 确定至少一个属性信 息， 所述属性信 息包括： 所述第 一样本食品的 属性类型、 所述属性类型对应的至少一个属性内容文本以及所述属性内容文本在所述关联 文本中的位置信息； 组合所述关联文本和所述至少一个属性信息， 得到所述第一文本 。 3.根据权利要求2所述的模型训练方法， 其特征在于， 所述采用目标预设文本对所述第 一文本进行至少部分替换， 得到第二文本， 包括： 在预设知识库中， 确定与至少一个所述属性内容文本属于同一属性类型的预设文本为 所述目标 预设文本， 所述预设知识库包括： 多个预设文本， 以及所述预设文本的属性类型； 采用所述目标预设文本替换所述第一文本中对应的属性内容文本， 得到所述第二文 本。 4.根据权利要求3所述的模型训练方法， 其特征在于， 若所述属性类型为： 配料， 则所述 在预设知识库中， 确定与至少一个所述属性内容文本属于同一属性类型的预设文本为所述 目标预设文本， 包括： 在所述属性信息中， 确定属于目标添加类别的属性内容文本为目标内容文本， 所述目 标添加类别包括： 主 要配料和/或食品添加剂； 在所述预设知识库中， 确定属于所述目标添加类别的预设文本为所述目标预设文本， 所述目标 预设文本用于替换 所述目标内容文本 。 5.根据权利要求3所述的模型训练方法， 其特 征在于， 还 包括： 确定与所述第一文本中至少一个目标文字相似的相似文字， 所述相似文字和所述目标 文字的形状具有相似性； 将所述相似文字作为所述目标预设文本， 替换所述至少一个目标文字， 得到所述第二 文本。 6.根据权利要求1至5任一项所述的模型训练方法， 其特征在于， 所述根据所述第一文 本和所述第二文本， 训练食品分类模型， 得到训练完成的食品分类模型， 包括： 分别确定所述第 一文本和所述第 二文本对应的标签数据， 所述第 一文本对应的标签数 据是对所述第一文本的归一化分析结果或者分类结果， 所述第二文本对应的标签数据是对 所述第二文本的归一 化分析结果或者分类结果；权　利　要　求　书 1/2 页 2 CN 114663874 A 2根据所述第一文本、 所述第 二文本以及所述标签数据， 训练食品分类模型， 得到训练完 成的食品分类模型； 其中， 采用所述第 一文本和所述第 一文本对应的标签数据训练所述食 品分类模型的次 数大于第一次数阈值， 采用所述第二文本和所述第二文本对应的标签数据训练所述食品分 类模型的次数小于第二次数阈值， 所述第二次数阈值小于所述第一次数阈值。 7.一种包 装图像的识别方法， 其特 征在于， 包括： 获取目标食品的包 装图像； 采用图像识别技 术， 识别所述包 装图像中的识别字符信息； 解析所述识别字符信息， 得到文本信息， 所述文本信息的语义是对所述目标食品的描 述； 将所述文本信息输入所述食品分类模型进行分类处理， 得到所述目标食品的分类结 果， 所述食品分类模型为 根据权利要求1至 6任一项所述的模型训练方法训练得到的。 8.一种包 装图像的识别装置， 其特 征在于， 包括： 获取模块， 用于获取目标食品的包 装图像； 识别模块， 用于采用图像识别技 术， 识别所述包 装图像中的识别字符信息； 解析模块， 用于解析所述识别字符信 息， 得到文本信息， 所述文本信 息的语义是对所述 目标食品的描述； 处理模块， 用于将所述文本信息输入所述食品分类模型进行分类处理， 得到所述目标 食品的分类结果， 所述食品分类模型为根据权利要求 1至6任一项 所述的模型训练方法训练 得到的。 9.一种电子设备， 其特征在于， 包括： 处理器、 存储器及存储在所述存储器上并可在处 理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如1至6任一项 所述的模 型训练方法或权利要求7 所述的包 装图像的识别方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 当所述计算机程序被处理器执行时， 致使处理器实现如权利要求1至6任一项所述的模 型训练方法或权利要求7 所述的包 装图像的识别方法。权　利　要　求　书 2/2 页 3 CN 114663874 A 3