(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111615470.5 (22)申请日 2021.12.27 (71)申请人 京沪高速 铁路股份有限公司 地址 100044 北京市海淀区北蜂窝路5号院 1号写字楼第三、 四层 申请人 北京交通大 学 (72)发明人 秦勇　崔京　杨怀志　朱星盛　 牟宗涵　陈平　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 代理人 黄雪 (51)Int.Cl. G06T 5/00(2006.01) G06T 3/60(2006.01) G06K 9/62(2022.01)G06V 10/774(2022.01) (54)发明名称 基于NonshadowGAN的无人机铁路扣件图像 阴影去除方法及系统 (57)摘要 本申请提供一种基于NonshadowGAN的无人 机铁路扣件图像阴影去除方法及系统。 本申请基 于无人机 所获取的铁路扣件图像， 首先对扣件图 像进行预处理实现数据的增广， 然后利用 NonshadowGAN网络实现对扣件部件的阴影去除。 本申请将无人机铁路扣件图像输入到阴影去除 网络中时， 将损失函数分为三部分， 通过生成对 抗网络将对抗损失应用于学习阴影特征， 完成阴 影和无阴影特征的学习 与识别任务， 并通过循环 一致性损失减少映射函数的可用空间， 通过身份 验证损失进一步约束网络结构， 鉴别阴影生成结 果， 调整参数模型。 从而， 本申请能够基于非成对 的阴影扣件 数据实现模型训练， 进而准确实现对 无人机扣件数据中阴影 部分的去除。 权利要求书2页 说明书7页 附图3页 CN 114266713 A 2022.04.01 CN 114266713 A 1.一种基于NonshadowGAN的无人机铁路扣件图像阴影去除方法， 其特征在于， 步骤包 括： 步骤一、 接收无 人机上搭载的可变焦相机所拍摄的轨道图像数据； 步骤二、 对接收获得的轨道图像数据进行预处理， 扩充数据集， 将扣件数据集以及阴影 公开数据集分别按照2:1比例划分为阴影训练集和无 阴影训练集； 步骤三、 构建NonshadowGAN模型， 该模型包括两个生成器和两个鉴别器， 其中， 中生成 器用于执行阴影数据区域和无阴影数据区域的特征转换， 由阴影训练集中图像生成无阴影 图像， 并在无阴影训练集图像中添加阴影以生 成相应的阴影图像； 其中， 鉴别器用于判别由 生成器所产生的虚假图像， 并从生成器所生成的图像数据中区分出真实的图像数据； 步骤四、 在将阴影训练集和无阴影训练集输入NonshadowGAN模型中训练网络模型参 数， 在鉴别器获得无法判别生成器输出图像的真伪后， 结束对网络模 型参数的训练， 将无人 机所拍摄的轨道图像数据输入到训练所 得网络模型中， 实现扣件数据的阴影去除。 2.如权利要求1所述的基于NonshadowGAN的无人机铁路扣件图像阴影去除方法， 其特 征在于， 所述步骤三中， NonshadowGAN模型生 成器基于CycleGAN的双向网络， 增加有身份验 证损失约束网络 结构， 使用dense  block密集块作为基线， 经3次卷积运算， 9 个dense block 密集块， 然后对特 征层进行步长为2的卷积和2次上采样的反卷积运 算； 所述鉴别器中使用70 ×70PatchGAN结构来判断70 ×70的添加有阴影 的图像是否为生 成器所产生的虚假图像。 3.如权利要求1所述的基于NonshadowGAN的无人机铁路扣件图像阴影去除方法， 其特 征在于， 所述步骤二中， 对轨道图像数据进 行预处理的步骤包括以下任意一种或其组合： 对 轨道图像数据进行旋转、 添加高斯噪声、 改变图像的对比度和亮度、 图像弹性变形、 对图像 进行镜像处 理。 4.如权利要求1所述的基于NonshadowGAN的无人机铁路扣件图像阴影去除方法， 其特 征在于， 所述步骤三， Nonsh adowGAN模型生成器 中使用Instance  Normaliz ation作为规范 化层， 分别取 出每个特征层的宽高进行归一 化处理。 5.如权利要求2所述的基于NonshadowGAN的无人机铁路扣件图像阴影去除方法， 其特 征在于， 所述步骤三中， NonshadowGAN模型生成器中所增加的身份验证损失约束网络结构 包含以下多任务损失函数： Lfinal(Gfree， Dfree， Gshadow， Dshadow) ＝w1(LGAN(Gfree， Dfree)+LGAN(Gshadow， Dshadow))+w2(Lcycle(Gfree， Gshadow)+Lcycle(Gshadow， Gfree)) +w3(Lidentity(Gfree)+Lidentity(Gshadow))； 其中， w1、 w2、 w3的值分别为 1、 10、 5， LGAN()表示梯度损失， Lcycle()表示循环一致性损失， Lidentity()表示身份验证损失， 多任务损失函数以极小极大 方式优化。 6.一种基于N onshadowGAN的无 人机铁路扣件图像阴影去除系统， 其特 征在于， 包括： 数据集单元， 其接收无人机上搭载的可变焦相机所拍摄的轨道图像数据， 对接收获得 的轨道图像数据进 行预处理， 扩充 数据集， 将扣件 数据集以及阴影公开数据集分别按照2∶ 1 比例划分为阴影训练集和无 阴影训练集； NonshadowGAN模型单元， 其包括两个生成器和两个鉴别器， 其 中， 中生成器用于执行阴 影数据区域和无阴影数据区域的特征转换， 由阴影训练集中图像生成无阴影图像， 并在无权　利　要　求　书 1/2 页 2 CN 114266713 A 2阴影训练集图像中添加阴影以生成相应的阴影图像； 其中， 鉴别器用于判别由生成器所产 生的虚假图像， 并从生成器所生成的图像数据中区分出真实的图像数据； 所述NonshadowGAN模型单元在将阴影训练集和无阴影训练集输入NonshadowGAN模型 中训练网络模型参数， 在鉴别器获得无法判别生成器输出图像的真伪后， 结束对网络模型 参数的训练， 将无人机所拍摄的轨道图像数据输入到训练所得网络模型中， 实现扣件数据 的阴影去除。 7.如权利要求6所述的基于NonshadowGAN的无人机铁路扣件图像阴影去除系统， 其特 征在于， 所述NonshadowGAN模型单元中， 生成器基于CycleGAN的双向网络， 使用Instance   Normalization作为规范化层， 通过规范化层分别取出每个特征层的宽高进 行归一化处理， 使用dense  block密集块作为基线， 经3次卷积运算， 9个dense  block密集块， 然后对特征层 进行步长为2的卷积和2次上采样的反卷积运 算。 8.如权利要求7所述的基于NonshadowGAN的无人机铁路扣件图像阴影去除系统， 其特 征在于， 所述 NonshadowGAN模型 单元中使用如下的多任务损失函数： Lfinal(Gfree， Dfree， Gshadow， Dshadow) ＝w1(LGAN(Gfree， Dfree)+LGAN(Gshadow， Dshadow))+w2(Lcycle(Gfree， Gshadow)+Lcycle(Gshadow， Gfree)) +w3(Lidentity(Gfree)+Lidentity(Gshadow))； 其中， w1、 w2、 w3的值分别为 1、 10、 5， LGAN()表示梯度损失， Lcycle()表示循环一致性损失， Lidentity()表示身份验证损失， 其中， 所述多任务损失函数以极小极大 方式优化。 9.如权利要求6所述的基于NonshadowGAN的无人机铁路扣件图像阴影去除系统， 其特 征在于， 所述NonshadowGAN模型单元中， 鉴别 器中使用70 ×70PatchGAN结构来判断70 ×70 的添加有阴影的图像是否为 生成器所产生的虚假图像。 10.如权利 要求6所述的基于NonshadowGAN的无人机铁路扣 件图像阴影去除系统， 其特 征在于， 所述数据集单元中， 对轨道图像数据进行预处理的方式包括以下任意一种或其组 合： 对轨道图像数据进 行旋转、 添加高斯噪声、 改变图像的对比度和亮度、 图像弹性变形、 对 图像进行镜像处 理。权　利　要　求　书 2/2 页 3 CN 114266713 A 3