(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111600032.1 (22)申请日 2021.12.24 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 颜波　谭伟敏　李吉春　林青　 (74)专利代理 机构 上海正旦专利代理有限公司 31200 代理人 陆飞　陆尤 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于自建数据对的胃镜图像去模糊算 法 (57)摘要 本发明属于医疗图像处理技术领域， 具体为 一种基于自建数据对的胃镜图像去模糊算法。 本 发明算法包括： 对于胃镜视频的处理、 制作胃镜 清晰图‑模糊图训练样本以及胃镜去模糊算法的 训练。 具体而言， 首先收集一定量的胃镜视频， 对 其中的数据进行清洗； 然后收集医生的标注， 对 每一帧的清晰或者模糊进行标注， 并对 “指导模 型”进行训练； 再用采用全部为清晰图的视频段， 合成清晰 ‑模糊肠镜图片数据对； 最后用清晰 ‑模 糊肠镜图片数据对， 训练肠镜去模糊算法。 实验 结果表明， 本发 明算法对于肠镜模糊图片的模糊 去除具有很好的效果， 具有很强的应用价 值。 权利要求书2页 说明书5页 附图2页 CN 114359082 A 2022.04.15 CN 114359082 A 1.一种基于自建数据对的胃镜图像去模糊算法， 是食管内镜视频帧序列质量分类算 法， 利用医生对于清晰模糊判断经验， 指导去模糊网络的优化， 而且利用插帧与时间域融合 的方法， 构建胃镜清晰 ‑模糊图像对加以训练； 具体步骤如下： (1)数据收集与清洗： 收集一定量的胃镜视频， 对其中的数据进行清洗， 即剔除视频中 含有气泡、 没有内容、 失去焦距、 内容混乱的胃镜无效视频帧； (2)标注与训练D ‑Net： 由专业 医生对经过清洗的、 所有有效视频帧进行分类， 医生认为 清晰的图片标记 为0， 医生认 为不清晰的图片标记 为1； 然后， 使用分类网络ResNet ‑34， 利用 标注的数据， 训练该分类网络， 对单张输入胃镜视频帧是否清晰， 进行分类， 该网络记作D ‑ Net， 符号记作 ψ； (3)模糊‑清晰图像对的生成： 从所有的有效视频帧内， 抽取医生标注为清晰的视频帧， 然后保留时间域连续 帧超过阈值THRESH帧的片段， 获得总数为P个全清晰视频片段； 设第i 段视频记作 其中1≤i≤P， Mi为第i个视频片段总帧数； 使用DAIN算 法， 在原来两帧之间插9帧， 即10倍插帧， 此时生成的第i段插帧后视频表示 为： 其中， Fj＝F′j×10为原始清晰帧； 第i段视频中选择清晰图片集 合为： 即对原视频Vi首尾3帧抛 弃； 其对应的模糊图 图片集合记作： 其生成方式是， 对于原视频Vi中某帧Fj+3， 在其插帧后视频Vi′中对应的时刻上， 对空间 域相邻的视频帧相加取平均， 其计算式如下： 其中， k为哑变量， L为空间域的长度； 同时， 求得Si,j帧所对应的运动先验信息GT_ Diffi,j： GT_Diffi,j＝Si,j‑Si,j‑1， 即视频的第j帧与第j ‑1帧直接相减； 最终， 获得训练数据三元组为： 即每个训练样本包括模糊胃镜图、 清晰 胃镜图及其 运动先验信息； (4)构建卷积神经网络： 采用改进的SimpleNet算法模块， 即对其中的残差模块、 感受野 多样性模块做出改进， 得到轻量残差块与简单多感受模块， 以获得更好的速度提升； 并且， 在第二个降采样层之后独立出两层卷积层预测的三通道 运动先验信息PRED_Dif， 然后 将其 送入第一个上采样层级联； 该胃镜去模糊卷积神经网络简记作DTM ‑Net； (5)训练： 利用训练数据三元组对卷积神经网络模型进行训练； 其损失函数如下： 权　利　要　求　书 1/2 页 2 CN 114359082 A 2其中， 为预测结果Pred与清晰图GT之间的L1损失， 为预测的三通道运动先 验信息PRED_Dif与实际的三通道运动先验信息 GT_Diff的L 1损失， 为由D‑Net提供的 含有医生判断的先验信息指导去模糊网络的损失， 简称为 “医生指导损失 ”， 其计算式为： 其中， ψ代表D ‑Net网络， Pred为算法输出去模糊结果图， GT为清晰图， cj、 hj、 wj分别为D‑ Net的第j层卷积层特征的通道数、 高度与宽度， J为医生指导损失所采用的D ‑Net卷积层的 集合； λ1， λ2， λ3为权重系数； (6)测试与使用： 给定模糊的输入图Input， 将其输入至经过训练的DTM ‑Net中， 得到输 出图Pred， 即为模糊去除的结果。 2.根据权利要求1所述的胃镜图像去模糊算法， 其特征在于， 步骤(3)中所述阈值 THRESH取为25； 空间域的长度L 根据经验， 在集 合{47,49,51,5 3,55}中随机取 得。 3.根据权利要求1所述的胃镜图像去模糊算法， 其特征在于， 步骤(4)中所述内容， 改进 后的轻量残差模块采用两层卷积以加快其 运算速度， 计算如下： Out＝Conv 2D(ReLU(Co nv 2D(I,W1)),W2)+I； 其中， I为输入信号， W1、 W2分别为第一层卷积与第二层卷积的权值； Conv2D为卷积操作， ReLU为激活函数。 4.根据权利要求1所述的胃镜图像去模糊算法， 其特征在于， 步骤(4)中所述改进后的 简单多感受模块， 能够在参数量没有增加且没有 可变性卷积的参与下， 获得更大的感受野， 进一步有利于模糊的去除， 其计算如下： fuse＝Co ncat((Conv 2D(I,WD1),Conv2D(I,WD2), Out＝Conv2D(ReLU(fuse),W1) 其中， WD1为膨胀率为1 的膨胀卷积， WD2为膨胀率为2的膨胀卷积， 为卷积核大小为i ×j的卷积； Co ncat为特 征按照通道维度级联的操作。 5.根据权利要求1所述的胃镜图像去模糊算法， 其特征在于， 步骤(5)中所述训练， 超参 数设为： 学习率为0.0001， 训练批大小为8， 权值衰减为4e ‑8； 学习率衰减， 每训练1500轮次， 学习衰减为原来的 共训练5000轮次。 6.根据权利要求1所述的胃镜图像去模糊算法， 其特征在于， 步骤(5)中所述权重系数 取为： λ1＝1， λ2＝0.01， λ3＝0.1。权　利　要　求　书 2/2 页 3 CN 114359082 A 3