(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111658857.9 (22)申请日 2021.12.3 0 (71)申请人 深圳大学 地址 518000 广东省深圳市南 山区粤海街 道南海大道3 688号 申请人 慧视创新 （深圳） 有限公司 (72)发明人 钦闯　邹文斌　田时舜　李霞　 邹辉　 (74)专利代理 机构 深圳市恒申知识产权事务所 (普通合伙) 44312 代理人 廖厚琪 (51)Int.Cl. G06T 7/10(2017.01) G06V 10/40(2022.01) G06K 9/62(2022.01)G06V 10/80(2022.01) (54)发明名称 注意力引导多模态特征融合的图像语义分 割方法及装置 (57)摘要 根据本发明实施例公开的注意力引导多模 态特征融合的图像语义分割方法及装置， 对提取 的彩色图特征以及深度图特征进行混合； 在通道 和空间两个维度上对混合特征进行精炼并叠加 到输入特征中， 消除深度图噪声， 自适应对齐两 部分特征； 为进一步互补地融合两部分特征， 通 过获取两种特征对应位置的重要程度， 自适应学 习彩色图和深度图之间的互补关系， 实现多模态 特征的互补融合； 为了在解码阶段引入重要的空 间细节信息， 采用多层特征融合方法引入编码阶 段的融合特征， 增加更多细节信息， 使得分割时 有更多信息关注到边界 区域， 实现边界区域的精 细分割， 从而生成更为精准高效的语义分割图。 由此， 有效提高了RGB ‑D图像语义分割模型的鲁 棒性及分割精度。 权利要求书3页 说明书9页 附图3页 CN 114372986 A 2022.04.19 CN 114372986 A 1.一种注意力引导多模态特征融合的图像语义分割方法， 应用于包括特征提取网络、 多模态特征对齐网络、 跨模态特征融合网络以及多层特征融合解码网络的整体神经网络， 其特征在于， 包括： 通过所述特征提取网络对彩色图以及相应深度图分别进行特征提取处理， 得到彩色图 特征以及深度图特 征； 通过所述多模态特征对齐网络将所述彩色图特征以及所述深度图特征沿通道维度连 接之后， 进行卷积操作得到混合特征， 并基于所述混合特征在通道维度和空间维度上对所 述彩色图特征以及所述深度图特征进 行对齐， 得到对齐后的彩色图特征以及对齐后的深度 图特征； 通过所述跨模态特征融合网络分别获取所述对齐后的彩色图特征各个位置点的重要 程度的第一权重矩阵， 以及所述对齐后的深度图特征各个位置点的重要程度的第二权重矩 阵， 然后将所述第一权重矩阵与所述对齐后的彩色图特征融合以及将所述第二权重矩阵与 所述对齐后的深度图特 征融合后再进行叠加处 理， 得到融合特 征； 通过所述多层特征融合解码网络逐层将所述融合特征进行卷积操作以及上采样处理， 输出语义分割图。 2.如权利要求1所述的图像语义分割方法， 其特征在于， 所述基于所述混合特征在通道 维度和空间维度上对所述彩色图特征以及所述深度图特征进 行对齐， 得到对齐后的彩色图 特征以及对齐后的深度图特 征的步骤， 包括： 分别对所述混合特征在水平方向和竖直方向进行全局 平均池化， 分别得到水平方向上 的特征向量以及竖直方向上的特 征向量； 将所述水平方向上的特征向量以及所述竖直方向上的特征向量沿通道维度连接， 并采 用非线性激活函数进行压缩， 得到 压缩编码后的中间特 征图； 基于所述压缩编码后的中间特征图进行特征对齐， 得到对齐后的彩色图特征以及对齐 后的深度图特 征。 3.如权利要求2所述的图像语义分割方法， 其特征在于， 所述基于所述压缩编码后的中 间特征图进行 特征对齐， 得到对齐后的彩色图特 征以及对齐后的深度图特 征的步骤， 包括： 采用预设的对齐修复算法对所述压缩编码后的中间特征图进行特征对齐， 得到对齐后 的彩色图特 征以及对齐后的深度图特 征； 所述对齐修复算法表示 为： 其中， X∈RC×H×W、 D∈RC×H×W分别表示所述特征提取网络得到所述彩色图特征和所述深 度图特征， σ 表示sigmoid激活函数， 和 表示所述压缩编码后 的中间特征图沿通道维度分成的两个独立特征图， 表示卷积操作， Xrep∈RC×H×W、 Drep∈RC×H×W分别表示最终输出的对齐后的彩色图特征以及对齐后的深度图特 征。权　利　要　求　书 1/3 页 2 CN 114372986 A 24.如权利要求1所述的图像语义分割方法， 其特征在于， 所述通过所述跨模态特征融合 网络分别获取所述对齐后的彩色图特征各个位置点的重要程度的第一权重矩阵， 以及所述 对齐后的深度图特 征各个位置点的重要程度的第二权 重矩阵的步骤， 包括： 通过所述跨模态特征融合网络采用预设的差异性分布学习算法， 分别获取所述对齐后 的彩色图特征各个位置点的重要程度的第一权重矩阵， 以及所述对齐后的深度图特征各个 位置点的重要程度的第二权 重矩阵； 所述差异性分布学习算法表示 为： 其中， Xrep、 Drep分别表示所述对齐后的彩色图特征以及所述对齐后的深度图特征， 表示卷积操作， ||表示沿通道维度连接， δ表示softmax激活函数， GX′∈R1×H×W、 GD′∈R1×H×W分别表示所述第一权 重矩阵以及所述第二权 重矩阵。 5.如权利要求1至4中任意一项所述的图像语义分割方法， 其特征在于， 所述通过所述 多层特征融合解码网络逐层将所述融合特征进行卷积操作以及上采样处理， 输出语义分割 图的步骤， 包括： 通过所述多层特征融合解码网络采用预设的解码算法， 逐层将所述融合特征进行卷积 操作以及上采样处 理， 输出语义分割图； 所述解码算法表示 为： Gfusion＝F3， 2， 1+FNBt1D( δ(Fc(G))) 其中， F3， 2， 1表示编码阶段的所述融合特征， FNBt1D表示三层NBt1D模 块， 每个所述NBt1D模 块包含四个卷积层， δ表示Relu激活函数， Fc表示3×3的卷积层， G表示每个阶段的输入特 征， Gfusion表示所述语义分割图。 6.一种注意力引导多模态特征融合的图像语义分割装置， 应用于包括特征提取网络、 多模态特征对齐网络、 跨模态特征融合网络以及多层特征融合解码网络的整体神经网络， 其特征在于， 包括： 提取模块， 用于通过所述特征提取网络对彩色图以及相应深度图分别进行特征提取处 理， 得到彩色图特 征以及深度图特 征； 对齐模块， 用于通过所述多模态特征对齐网络将所述彩色图特征以及所述深度图特征 沿通道维度连接之后， 进行卷积操作得到混合特征， 并基于所述混合特征在通道维度和空 间维度上对所述彩色图特征以及所述深度图特征进行对齐， 得到对齐后的彩色图特征以及 对齐后的深度图特 征； 融合模块， 用于通过所述跨模态特征融合网络分别获取所述对齐后的彩色图特征各个 位置点的重要程度的第一权重矩阵， 以及所述对齐后的深度图特征各个位置点的重要程度 的第二权重矩阵， 然后 将所述第一权重矩阵与所述对齐后的彩色图特征融合以及将所述第 二权重矩阵与所述对齐后的深度图特 征融合后再进行叠加处 理， 得到融合特 征； 解码模块， 用于通过所述多层特征融合解码网络逐层将所述融合特征进行卷积操作以 及上采样处 理， 输出语义分割图。 7.如权利要求6所述的图像 语义分割装置， 其特 征在于， 所述对齐模块具体用于： 分别对所述混合特征在水平方向和竖直方向进行全局 平均池化， 分别得到水平方向上权　利　要　求　书 2/3 页 3 CN 114372986 A 3