(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111643490.3 (22)申请日 2021.12.3 0 (65)同一申请的已公布的文献号 申请公布号 CN 114005005 A (43)申请公布日 2022.02.01 (73)专利权人 深圳佑驾创新科技有限公司 地址 518049 广东省深圳市福田区梅林街 道梅都社区中康路136号深圳新一代 产业园1栋401 (72)发明人 刘国清　杨广　王启程　郑伟　 张见阳　杨国武　 (74)专利代理 机构 深圳市倡 创专利代理事务所 (普通合伙) 44660 代理人 罗明玉(51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 112163603 A,2021.01.01 CN 110427967 A,2019.1 1.08 US 20182 25548 A1,2018.08.09 审查员 谭岳峰 (54)发明名称 双重批标准化的零实例图像分类方法 (57)摘要 本申请提供一种双重批标准化的零实例图 像分类方法， 将待训练图像数据集输入至特征提 取模块中得到图像的特征向量； 利用全连接模块 将类别的语义信息映射到视觉空间中得到类别 表示向量； 将有标签图像的特征向量和无标签图 像的特征向量与类别表示向量进行拼接得到多 对第一表 示对向量和多对第二表 示对向量； 将第 一表示对向量和第二表示对向量进行批标准化 处理得到第一标准表示对向量和第二标准表示 对向量； 利用全 连接模块学习第一标准表示对向 量， 再输入第二标准表示对向量计算得到第二标 准表示对向量配对概率； 选择每一无标签图像中 配对概率最高的第二表示对向量中无标签图像 的类别输出。 本申请能够校准分布差异， 从而实 现较高性能的零实例图像分类 。 权利要求书2页 说明书8页 附图6页 CN 114005005 B 2022.03.22 CN 114005005 B 1.一种双重批标准化的零实例图像分类模型的学习方法， 用于对初始神经网络进行学 习得到双重批标准化的零实例图像分类模型， 其特征在于， 所述初始神经网络包括特征提 取模块以及全连接模块， 所述双重 批标准化的零实例图像分类模型的学习方法包括： 将待训练图像数据集输入至所述特征提取模块中计算得到所述待训练图像数据集中 每张图像的特征向量， 所述待训练图像数据集包括带有标签的有标签图像和没有 带标签的 无标签图像， 所述待训练图像数据集属于预设的多个类别， 所述多个类别包括可见类和不 可见类， 所述可见类存在于标签表示的类别中， 所述不可见类不存在于所述标签表示的类 别中； 将预设的多个类别的语义信 息输入至所述全连接模块中计算， 使预设的多个类别的语 义信息映射到 视觉空间中得到多个 类别表示向量； 将每一有标签图像的特征向量与所述多个类别表示向量进行拼接得到每一有标签图 像的多对第一表示对向量； 将每一无标签图像的特征向量与所述多个类别表示向量进行拼接得到每一无标签图 像的多对第二表示对向量； 将所述第一表示对向量和所述第二表示对向量进行批标准化处理得到维度相同的第 一标准表示对向量和第二标准表示对向量； 将每一个所述第一标准表示对向量输入至所述全连接模块中训练后再将所述第二标 准表示对向量输入全连接模块中计算得到每一个所述第二标准表示对向量的配对概率； 以 及 选择每一无标签图像中配对概率最高的第二表示对向量所对应类别向量所对应的类 别作为所述无 标签图像的类别并输出。 2.如权利要求1所述的双重批标准化的零实例图像分类模型的学习方法， 其特征在于， 所述将每一有标签图像的特征向量与所述多个类别表示向量进行拼接得到每一有标签图 像的多对第一表示对向量包括： 将每一有标签图像的特 征向量复制N份， 所述 N份为可见类类别表示向量的个数； 以及 将每一有标签图像的N份特征向量与多个类别表示向量进行一一拼接得到多对第 一表 示对向量。 3.如权利要求1所述的双重批标准化的零实例图像分类模型的学习方法， 其特征在于， 所述将每一无标签图像的特征向量与所述多个类别表示向量进行拼接得到每一无标签图 像的多对第二表示对向量包括： 将每一无 标签图像的特 征向量复制M份， 所述M为 不可见类类别表示向量的个数； 以及 将每一无标签图像的M份特征向量与多个类别表示向量进行一一拼接得到多对第 二表 示对向量。 4.如权利要求1所述的双重批标准化的零实例图像分类模型的学习方法， 其特征在于， 所述双重 批标准化的零实例图像分类模型的学习方法还 包括： 将所述第一表示对向量和所述第二表示对向量进行批标准化处理得到维度相同的第 一标准表示对向量和第二标准表示对向量。 5.如权利要求4所述的双重批标准化的零实例图像分类模型的学习方法， 其特征在于， 将所述第一表示对向量和所述第二表示对向量进行批标准化处理得到维度相同的第一标权　利　要　求　书 1/2 页 2 CN 114005005 B 2准表示对向量和第二标准表示对向量具体包括： 计算所述第一表示对向量的各维度特 征的均值与方差得到第一均值和第一方差； 将第一表示对向量减去第一均值后除以第一方差得到标准 化后的第一表示对向量； 计算所述第二表示对向量的各维度特 征的均值与方差得到第二均值和第二方差； 将第二表示对向量减去第 二均值后除以第 二方差得到标准化后的第 二表示对向量； 以 及 对标准化后的第一表示对向量和标准化后的第二表示对向量进行线性变换得到批标 准化的第一标准表示对向量和第二标准表示对向量。 6.如权利要求1所述的双重批标准化的零实例图像分类模型的学习方法， 其特征在于， 所述特征提取模块包括多个隐藏层， 将待训练图像数据集输入至所述特征提取模块中计算 得到所述待训练图像数据集中每张图像的特 征向量具体包括： 获取所述多个隐藏层中最后一个隐藏层的输出； 以及 根据所述最后一个隐藏层的输出统计得到所述待训练图像数据集中每张图像的特征 向量。 7.如权利要求6所述的双重批标准化的零实例图像分类模型的学习方法， 其特征在于， 所述特征提取模块采用Resnet101卷积神经网络架构。 8.如权利要求1所述的双重批标准化的零实例图像分类模型的学习方法， 其特征在于， 所述全连接模块包括带激活函数的两个全连接层。 9.一种双重批标准化的零实例图像分类方法， 其特征在于， 所述双重批标准化的零实 例分类方法包括： 将待分类图像输入至双重批标准化的零实例图像分类模型中， 所述待分类图像为无标 签图像， 所述双重批标准化的零实例图像分类模型由权利要求1~8任一项所述的双重批标 准化的零实例图像分类模型的学习方法获得； 所述双重批标准化的零实例图像分类模型对所述待分类图像进行类别分析得到所述 待分类图像的类别； 以及 所述双重 批标准化的零实例图像分类模型输出 所述待分类图像的类别。 10.一种终端， 其特 征在于， 所述终端包括： 计算机可读存 储介质， 用于存 储程序指令； 以及 处理器， 用于执行所述程序指令以实现如权利要求1至8中任一项所述的双重批标准化 的零实例图像分类模型的学习方法。权　利　要　求　书 2/2 页 3 CN 114005005 B 3