(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210845075.4 (22)申请日 2022.07.19 (71)申请人 国网浙江省电力有限公司电力科 学 研究院 地址 210003 江苏省南京市 鼓楼区南瑞路8 号 申请人 国网电力科 学研究院有限公司 　 南京南瑞信息通信科技有限公司 (72)发明人 张弛　罗旺　韩睿　钱平　陈骏　 戴哲仁　郝运河　徐华荣　琚小明　 钱莹　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 张赏(51)Int.Cl. G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/00(2012.01) G06Q 50/06(2012.01) G06V 10/80(2022.01) (54)发明名称 跨模型异源特征融合方法、 系统、 存储器及 计算设备 (57)摘要 本发明公开了一种跨模型异源特征融合方 法、 系统、 存储器及计算 设备， 该方法通过对特征 图进行多维深层次局部特征提取得到多维局部 特征， 来加强特征之间的联系； 并且将所提取的 多维局部 特征和全局特征进行融合中， 加入图像 样本源特征， 用于增强图像特征， 提高了后续进 行图像异常检测的精度。 权利要求书4页 说明书10页 附图2页 CN 115170922 A 2022.10.11 CN 115170922 A 1.跨模型异源特 征融合方法， 其特 征在于， 包括： 对原始图像进行 特征提取， 得到多维局部特 征和全局特 征； 将所提取的多维局部特 征和全局特 征进行融合， 得到融合特 征； 对原始图像按照预设采样率进行图像样本源特征提取， 将所提取的图像样本源特征加 入到所述融合特 征， 得到图像增强特 征； 重复执行对所得到的图像增强特征进行多维局部特征和全局特征提取并融合， 以及加 入按照预设采样率提取 的图像样本源特征， 得到图像增强特征的步骤， 直至得到的图像增 强特征符合预设要求， 将所述图像增强特 征作为跨模型异源融合特 征。 2.根据权利要求1所述的跨模型异源特征融合方法， 其特征在于， 所述对原始图像进行 特征提取， 得到多维局部特 征和全局特 征， 包括： 获取原始图像并进行 下采样， 得到图像的初始特 征图； 对所获取的初始特征图进行多维深层次局部特征提取， 得到多维局部特征； 以及对所 获取的初始特 征图进行全局特 征提取， 得到全局特 征。 3.根据权利要求2所述的跨模型异源特征融合方法， 其特征在于， 所述获取原始图像并 进行下采样， 得到图像的初始特 征图， 包括： 利用无人机进行电网输电线巡检， 获取巡检电力设备图像； 对所获取的图像进行四倍下采样， 得到图像的初始特 征图为Fin。 4.根据权利要求3所述的跨模型异源特征融合方法， 其特征在于， 所述对所获取的初始 特征图进行多维深层次局部特 征提取， 得到多维局部特 征， 包括： 对所获取的初始特征图采用M个1 ×1的卷积核分别进行特征映射， 得到M个不同的映射 特征图； M为大于等于1的正整数； 将得到的每一个映射特 征图按照神经网络通道数划分为 N维； N为大于等于1的正整数； 对每一个映射特 征图中的每一维特 征都进行 卷积操作； 将每一维特 征的卷积结果 拼接起来得到每一个映射特 征图的多维卷积结果； 将每一个特 征映射图的多维卷积结果相加， 得到最终的多维局部特 征Flocal。 5.根据权利要求3所述的跨模型异源特征融合方法， 其特征在于， 所述对所获取的初始 特征图进行全局特 征提取， 得到全局特 征， 包括： 采用自注意力 机制的编码器对所获取的初始特征图进行多头注意力 计算并拼接， 得到 全局特征Fglobal。 6.根据权利要求5所述的跨模型异源特征融合方法， 其特征在于， 所述将所提取的多维 局部特征和全局特 征进行融合， 得到融合特 征， 包括： Fall＝α·Flocal+β·Fglobal， 其中， Fall为融合特 征， α 和β 表示学习参数， Flocal为多维局部特 征。 7.根据权利要求1所述的跨模型异源特征融合方法， 其特征在于， 所述重复执行对所得 到的图像增强特征进 行多维局部特征和全局特征提取并融合， 以及加入按照预设采样率提 取的图像样本源特征， 得到图像增强特征的步骤， 直至得到的图像增强特征符合预设要求， 将所述图像增强特 征作为跨模型异源融合特 征， 包括： 如果对原始图像进行特征提取、 融合和加入按照预设采样率提取的图像样本源特征所 得到的图像增强特征符合预设要求， 则输出所述图像增强特征作为跨模型异源融合特征；权　利　要　求　书 1/4 页 2 CN 115170922 A 2如果不符合， 则， 对所述图像增强特征再次进行多维局部特征和全局特征提取并融合， 以及加入按照预 设采样率提取 的图像样本源特征得到二次图像增强特征； 判断是否符合预设要求， 如果符 合， 则将所述 二次图像增强特 征作为跨模型异源融合特 征； 如果不符合， 则， 对所述二 次图像增强特征再次进行多维局部特征和全局特征提取并融合， 以及加入按 照预设采样率提取 的图像样本源特征得到三次图像增强特征， 判断是否符合预设要求； 如 果符合， 则将所述 三次图像增强特 征作为跨模型异源融合特 征； 如果不符合， 则， 对所述三 次图像增强特征重复执行得到图像增强特征的步骤， 直至得到的图像增强特 征符合预设要求， 将最后一次得到的图像增强特 征作为跨模型异源融合特 征。 8.根据权利要求7所述的跨模型异源特征融合方法， 其特征在于， 所述对原始图像按照 预设采样率进行图像样本源特 征提取， 包括： 第一次进行图像样本源特征提取时， 对原始图像进行1/4下采样， 得到一次图像样本源 特征； 第二次进行图像样本源特征提取时， 对原始图像进行1/16下采样， 得到二次图像样本 源特征； 第三次进行图像样本源特征提取时， 对原始图像进行1/64下采样， 得到三次图像样本 源特征； 以此类推， 第Q次进行图像样本源特征提取时， 对原始图像进行1/4Y下采样， 得到Q次图 像样本源特 征； 其中， Y、 Q 为正整数。 9.跨模型异源特 征融合系统， 其特 征在于， 包括： 特征提取模块， 用于对原始图像进行特征提取， 得到多维局部特征和全局特征， 并下发 至异源特 征融合模块； 异源特征融合模块， 用于将所获取的多维局部特征和全局特征进行融合， 得到融合特 征， 并下发至特 征增强模块； 特征增强模块， 用于对原始图像按照预设采样率进行图像样本源特征提取， 将所提取 的图像样本源特 征加入到所获取的融合特 征， 得到图像增强特 征； 输出模块， 用于 输出符合预设要求的图像增强特 征作为跨模型异源融合特 征。 10.根据权利要求9所述的跨模型异源特征融合系统， 其特征在于， 所述特征提取模块 包括： 下采样模块， 用于对所获取的原始图像进行采样， 得到图像的初始特征图， 并下发至卷 积神经网络和自注意力机制的编码器； 卷积神经网络， 用于对所获取的初始特征图进行多维深层次局部特征提取， 得到多维 局部特征； 自注意力机制的编码器， 用于对所获取的初始特征图进行全局特征提取， 得到全局特 征。 11.根据权利要求10所述的跨模型异源特征融合系统， 其特征在于， 所述卷积神经网络 具体用于， 对所获取的初始特征图采用M个1 ×1的卷积核分别进行特征映射， 得到M个不同的映射 特征图； M为大于等于1的正整数；权　利　要　求　书 2/4 页 3 CN 115170922 A 3