(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210273007.5 (22)申请日 2022.03.19 (65)同一申请的已公布的文献号 申请公布号 CN 114359741 A (43)申请公布日 2022.04.15 (73)专利权人 江西财经 大学 地址 330013 江西省南昌市经济技 术开发 区双港东大街169号 (72)发明人 姜文晖　朱旻炜　方玉明　赵小伟　 刘扬　 (74)专利代理 机构 北京中济纬天专利代理有限 公司 11429 专利代理师 黄攀 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/40(2022.01) G06F 16/33(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (56)对比文件 WO 20201017 77 A1,2020.0 5.22 CN 112836709 A,2021.0 5.25 CN 111444968 A,2020.07.24 CN 110473267 A,2019.1 1.19 CN 111340907 A,2020.0 6.26 US 202123285 0 A1,2021.07.2 9 Chiori Hori 等.A ttention-Based Multimodal Fusi on for Video Descripti on. 《2017 IE EE Internati onal Conference o n Computer Visi on (ICCV)》 .2017,全 文. Yuming Fang 等.Visual at tention predicti on for Autis m Spectrum Disorder with hierarc hical semantic fusi on. 《Signal Processing: Image Communication》 .2021,第 93卷全文. (续) 审查员 李浩 (54)发明名称 基于区域特征的图像描述模型注意力机制 评价方法与系统 (57)摘要 本发明提出一种基于区域特征的图像描述 模型注意力机制评价方法与系统， 该方法包括： 通过深度神经网络， 利用感兴趣区域池化在潜在 目标区域中提取得到对应的区域空间特征； 将区 域空间特征输入至图像描述模型中以生成单词 序列， 将语义特征与单词序列输入至注意力模块 得到生成句子； 将生成句子与真值句子进行匹 配， 以确定得到匹配名词； 再将生成匹配名词时 潜在目标区域对应的语义特征的权重加载到图 像中对应的每个像素点上， 然后计算人工标注的 边界框内的像素点权重累加和， 得到局部注意力 评价结果， 进而得到全局注意力评价结果。 本发 明不仅能够针对基于区域特征的图像描述模型进行评价， 并且与图像描 述的性能指标具有更高 一致性。 [转续页] 权利要求书4页 说明书9页 附图2页 CN 114359741 B 2022.06.17 CN 114359741 B (56)对比文件 赵宏 等.图像特 征注意力与自适应注意力融合的图像内容中文 描述. 《计算机 应用》 .2021, 第41卷(第9期),全 文.2/2 页 2[接上页] CN 114359741 B1.一种基于区域特征的图像描述模型注意力机制评价方法， 其特征在于， 所述方法包 括如下步骤： 步骤一、 获取自然场景下的图像， 通过目标检测网络确定所述图像 中的潜在目标区域， 并通过深度神经网络， 利用感兴趣区域池化在所述潜在目标区域中提取得到对应的区域空 间特征， 其中所述区域空间特 征包括多个 语义特征； 步骤二、 将提取出的所述区域空间特征输入至 图像描述模型以生成单词序列， 将所述 多个语义特征以及所述单词序列输入至注意力模块， 通过所述注意力模块以得到生成句 子， 其中所述生成句 子中包含各所述语义特征 的权重， 所述语义特征 的权重为在时间步骤 处对应生成的边界框的注意力权 重； 步骤三、 将所述生成句子 中每一时间步骤的名词与真值句子 中有位置标注的名词 进行 匹配， 以查找出所述生成句 子中对应的匹配名词， 并同时记录所述匹配名词在所述生成句 子中对应的时间步骤； 步骤四、 将生成各所述匹配名词时潜在目标区域对应的所述语义特征的权重加载到所 述图像中对应的每个像素点上， 然后计算人工标注的边界框内的像素点权重累加和， 以得 到局部注意力评价结果， 其中所述局部注意力评价结果包括被认定为正确匹配名词的数 量； 步骤五、 根据所述图像的所述局部注意力评价结果， 综合计算得到全局注意力评价结 果； 在所述步骤四中， 所述局部注意力评价结果的计算方法为： 通过判断匹配名词的局部注意 准确率是否大于预设阈值； 当判断到所述匹配名词的局部注意准确率大于预设阈值， 则判定图像描述模型在生成 所述匹配名词时的注意力是正确的， 以确定得到所述局部注意力评价结果； 局部注意力准确率的计算方法包括如下步骤： 获取时间步骤 中边界框的注意力权 重 ， 以及边界框 的位置； 初始化空白图像 ， 将边界框的注意力权重 映射到空白图像 内边界框 内的 对应位置， 并通过累积以更新所述空白图像 以得到映射图， 其中所述映射图对应有多 个 映射图像素权 重； 将映射图上人工标注的边界框 中所包含的所有映射图像素权重进行累加以得到匹 配名词的局部注意力准确率； 所述映射图像素权 重表示为： 其中， 表示所述映射图像素权重， 表示归一化项，权　利　要　求　书 1/4 页 2 CN 114359741 B 3