(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111671947.1 (22)申请日 2021.12.31 (71)申请人 成都工业职业 技术学院 地址 610000 四川省成 都市天府新区成 都 片区正兴镇大安路818号 (72)发明人 刘薇　何进　姜立　陈科　王英　 李敬东　 (74)专利代理 机构 成都顶峰专利事务所(普通 合伙) 51224 代理人 曹源 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种MR脑肿瘤图像实例分割方法、 装置、 设 备及存储介质 (57)摘要 本发明涉及计算机视觉技术领域， 公开了一 种MR脑肿瘤图像实例分割方法、 装置、 设备及存 储介质， 即在现有Mask  RCNN实例分割模型和特 征金字塔网络FPN的基础上， 在FPN上增加了一条 自 底 而 上 路 径 增强 B o t t o m ‑u p Pa t h  Augmentation， 然后在FPN的自顶而下通路Top ‑ down pathway的上采样路径和Bottom ‑up Path  Augmentation的下采样路径中分别引入卷积层 注意力机制CBA M， 可以更好改善肿瘤形状大小因 为个体差异和时间变化而产生的改变问题， 同时 融合低分辨率特征图和高分辨率特征图， 可以有 效提高小目标的检测效果， 降低小尺 寸肿瘤的漏 检率， 为肿瘤的早筛提供帮助， 如此不但在分割 性能上有提升且具有较好的通用性。 权利要求书4页 说明书14页 附图3页 CN 114332463 A 2022.04.12 CN 114332463 A 1.一种MR脑肿瘤图像实例分割方法， 其特 征在于， 包括： 获取脑肿瘤公开数据训练集， 其中， 所述脑肿瘤公开数据训练集包含有多个MR脑肿瘤 图像样本； 针对所述多个MR脑肿瘤图像样本 中的各个MR脑肿瘤图像样本， 分别进行灰度 数据归一 化处理， 得到对应的样本图像； 将所有的所述样本图像送入集目标检测和实例分割于一体的Mask  RCNN网络模型进行 训练， 得到训练完毕的MR脑肿瘤图像实例分割模型， 其中， 所述Mask  RCNN网络模型由骨干 backbone网络、 颈部neck网络和头部head网络构成， 所述backbone网络采用残差网络， 所述 neck网络采用特征金字塔网络FPN， 所述head网络包括有预测框分类网络、 边框bbox回归网 络和mask分支网络； 所述残差网络用于在输入样本图像后， 输出与该样本图像对应的六个第一特 征图； 所述特征金字塔网络FPN 的自顶而下通路Top ‑down pathway设计为： 在从第三预测层 P3至第七预测层P7的各个预测层中分别引入第一卷积注意力模块， 以便采用先通道后空间 的策略， 在空间和通道两个维度上进行重要特征加权， 使得在输入所述六个第一特征图中 的第i个第一特征图Fi后， 得到与该第i个第一特征图Fi对应的第一细化新特征图Fi″， 其中， i为自然数且有i∈[3， 7]； 所述残差网络还用于 经过不同的降采样次数， 使得所述第一细化新特征图Fi″在经过1* 1降维处理和2倍上采样处理后， 与由下一预测层输出的且经过1*1降维处理的另一第一细 化新特征图Fi′ ‑′1进行单位加融合， 然后通过对单位加融合结果进行3*3卷积处理， 得到第 二特征图Pi′‑′1； 在所述特征金字塔网络FPN中增加自底而上路径增强B ottom‑up Path Augmentation， 并设计为： 先在所述各个预测层中分别引入第二卷积注意力模块， 以便也采用先通道后空 间的策略， 在空间和通道两个维度上进 行重要特征加权， 使 得在输入第二特征图P ″i‑1后， 得 到与该第二特征图P ″i‑1对应的第二细化新特征图N ″i， 再自底而上地进行如下迭代处理得 到用于预测框分类、 边框bbox回归和mask分支生成的新第二细化新特征图： 对低层的所述 第二细化新特征图N ″i进行一个步长为2的3*3卷积处理和 下采样处理， 然后将处理结果与 横向连接传递过来的且高层的第二特征图P ″i+1进行单位加融合， 最后通过对单位加融合结 果进行3*3卷积处理， 得到新第二细化 新特征图N″i+1； 将待处理MR图像导入所述MR脑肿瘤图像实例分割模型， 输出实例分割结果。 2.如权利要求1所述的MR脑肿瘤图像实例分割方法， 其特征在于， 所述脑肿瘤公开数据 训练集采用脑肿瘤公开数据集BRATS2018中的训练子集， 其中， 所述多个MR脑肿瘤图像样 本 中的各个MR脑肿瘤图像样本分别有如下4种模态： T1模态、 T2模态、 T1ec模态和Flair模态。 3.如权利要求1所述的MR脑肿瘤图像实例分割方法， 其特征在于， 针对所述多个MR脑肿 瘤图像样本中的各个MR脑肿瘤图像样本， 分别进行灰度数据归一化处理， 得到对应的样本 图像， 包括： 将MR脑肿瘤图像样本标准 化， 使其具有零均值与单位标准差 。 4.如权利要求3所述的MR脑肿瘤图像实例分割方法， 其特征在于， 针对所述多个MR脑肿 瘤图像样本中的各个MR脑肿瘤图像样本， 分别进行灰度数据归一化处理， 得到对应的样本 图像， 还包括： 对标准化后的MR脑肿瘤图像样本进行如下方式的数据增扩处理： 在各个通道上进行随权　利　要　求　书 1/4 页 2 CN 114332463 A 2机强度偏移处理， 以及在三轴数据上进行随机旋转处理、 镜像翻转处理、 弹性形变处理和/ 或缩放处 理。 5.如权利要求1所述的MR脑肿瘤图像实例分割方法， 其特征在于， 所述残差网络采用包 含有七组卷积层的ResNet101网络结构； 在所述ResNet101网络结构中， 第一组卷积层的大小是64*7*7且后接最大值池化层； 在所述ResNet101网络结构中， 第二组卷积层包含有三个步长均为1的卷积， 并且这三 个卷积的卷积核大小分别为64*1*1、 64* 3*3和256*1*1； 在所述ResNet101网络结构中， 第三组卷积层也包含有三个步长均为1的卷积， 并且这 三个卷积的卷积核大小分别为128*1*1、 128* 3*3和512*1*1； 在所述ResNet101网络结构中， 第四组卷积层也包含有三个步长均为1的卷积， 并且这 三个卷积的卷积核大小分别为25 6*1*1、 256*3*3和1024*1*1； 在所述ResNet101网络结构中， 第五组卷积层也包含有三个步长均为1的卷积， 并且这 三个卷积的卷积核大小分别为512*1*1、 512* 3*3和2048*1*1； 在所述ResNet101网络结构中， 第六组卷积层也包含有三个步长均为1的卷积， 并且这 三个卷积的卷积核大小分别为1024*1*1、 1024* 3*3和4096*1*1； 在所述ResNet101网络结构中， 第七组卷积层也包含有三个步长均为1的卷积， 并且这 三个卷积的卷积核大小分别为2048*1*1、 2048* 3*3和8192*1*1。 6.如权利要求1所述的MR脑肿瘤图像实例分割方法， 其特征在于， 在输入所述六个第一 特征图中的第i个第 一特征图Fi后， 得到与 该第i个第一特征图Fi对应的第一细化新特征图 Fi″， 包括： 将第一特征图Fi送入所述第一卷积注意力模块中的通道注意力子模块， 以便利用学习 方式获取在通道 注意力维度上的第一权 重系数 式中， σ()表示归一化函数sigmoid()且用于根据神经网络的传播回馈不断更新权重 系数 以便指导模型对来自低层的肿瘤特征进行选择， AvgPool()表示平均池化函 数， MaxPool()表示最大池化函数， MLP()表示多层感知器， 表示对所述第一特征图Fi进 行平均池化后得到的特征图， 表示对所述第一特征图Fi进行最大池化后得到的特征 图， W0和W1表示所述多层感知 器MLP()的权重且有W0∈RC/r×C和W1∈RC×C/r， R表示实数， C/r表 示所述多层感知器MLP()的第一层神经元个数， r表示预设减少率， C表示所述多层感知器 MLP()的第二层神经 元个数， 所述多层感知器MLP()的激活函数采用线性整流 函数Relu； 对所述第一权重系数 和所述第一 特征图Fi进行单位乘处理， 得到第一新特征图 Fi′； 将所述第一新特征图Fi′送入所述第一卷积注意力模块中的空间注意力子模块， 以便获 取在空间注意力维度上的第二权 重系数 权　利　要　求　书 2/4 页 3 CN 114332463 A 3