(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210235936.7 (22)申请日 2022.03.10 (71)申请人 湖北工业大 学 地址 430068 湖北省武汉市洪山区南李路 28号 (72)发明人 严灵毓　许兆　陈子璇　叶志伟　 高榕　 (74)专利代理 机构 武汉华强专利代理事务所 (普通合伙) 42237 专利代理师 温珊姗 (51)Int.Cl. H04N 7/18(2006.01) H04N 5/76(2006.01) H04N 5/232(2006.01) G08G 3/00(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G08B 21/24(2006.01) H04L 67/025(2022.01) (54)发明名称 一种航道船舶监控预警系统 (57)摘要 本发明公开了一种新型航道船舶监控预警 系统， 所述方法及系统由六个模块组成， 分别是 采集模块， 中转模块， 管理模块， 处理模块， 展示 模块， 存储模块， 利用新型基于时空特征的新型 像素投票的全 景图像分割技术， 不仅能够快速有 效地对复杂航道情况进行分割处理， 而且保证了 结果的准确性。 本发明提供的方法及系统适用于 各类型复杂航道监控。 实现所需成本小， 应用范 围广， 可解决目前世界航道监控领域的主流问 题。 权利要求书3页 说明书12页 附图3页 CN 114679568 A 2022.06.28 CN 114679568 A 1.一种新型航道船舶监控预警系统， 其特 征在于， 所述系统包括： 采集模块， 主要由各个摄像头组成， 在监测和计量功能没有开启的情况下， 采集模块并 不会向中转模块发送数据， 而只会将当前采集的视频帧的数据传递给存 储模块进行存 储； 中转模块， 中转模块的主要功能是提供控制， 获取远端摄像头和数据， 同时给管理模块 提供接口访问其摄 像头和数据。 承担中转模块的是流 媒体服务器。 管理模块， 管理模块主要用于管理各个摄像头或者说各个监测 站点是否开启监测和计 量服务， 同时还负责对中转模块发送相应的请求， 使对应的摄像头或监测站点与流媒体服 务器建立数据连接， 使其可以获取到数据并发送给处 理模块； 处理模块， 处理模块是整个系统 的核心， 系统的核心功能由处理模块实现。 处理模块主 要功能有视频数据解码， 船舶的检测与识别， 船舶的持续跟踪， 船舶的计数， 船舶的载重量 计算。 是本文基于时空特 征的新型像素投票的全景图像分割的载体； 展示模块， 展示模块主要用于展示系统中的动态数据， 包括实时数据， 统计数据等。 查 看方式分为网页登陆查看和电脑端软件查看。 存储模块， 存储模块包括录像机， 数据库等软硬件设备。 主要用于存储数据， 同时对外 提供访问数据的功能。 2.一种使用新型航道船舶监控预警系统， 其特 征在于， 所述方法包括： 航道监视器数据采集； 获取远端摄 像头和数据， 同时给 管理模块 提供接口访问其摄 像头和数据； 数据进入处 理模块； 基于像素共识 投票的卷积神经网络语义分割分支预测每个像素的类别标签， 有 效实现 这一目标的膨胀卷积机制， 使用一个简单 的贪婪策略合并实例和语义分割掩码。 产生一个 完整的全景分割输出； 由像素与实例质心组成实例掩码， 预测相对偏移量， 使用区域离 散化处理； 构造投票过滤， 使距离实例质心越远， 空间单元就越大， 过滤器被构造一个正方形单元 格的网格， 其尺 寸向外径向扩展， 它涉及K＝233个单元格， 在一个M＝243像素的区域上应用 于1/4输入分辨 率的图像， 因此覆盖 了高达972x972的全分辨 率。 转置卷积投票， 使用扩张性反卷积和平均池化来聚集概率投票到他们的预期空间位 置； 投影过滤器处理， 为每个峰值区域确定最有利于这个特定最大值的像素， 首先获取每 个像素处的argmax(最值函数)投票指数， 这是一个大小为[H,W,1]的张量。 然后， 在一个峰 值区域内， 对查询过滤器进行卷积， 并对argmax(最值函数)投票指数执行相等比较， 以挑选 出该峰值区域内最强投票的所有像素； 输出卷积神经网络特 征； 在数据展示终端， 展示系统中的动态数据； 存储数据， 同时对外提供访问数据。 3.根据权利要求2所述的新型航道船舶监控预警系统， 其特征在于， 所述采用基于时空 特征的新型像素投票的全景图像分割， 具体包括： 基于像素共识 投票的卷积神经网络语义分割分支预测每个像素的类别标签， 有 效实现 这一目标的膨胀卷积机制， 使用一个简单 的贪婪策略合并实例和语义分割掩码。 产生一个权　利　要　求　书 1/3 页 2 CN 114679568 A 2完整的全景分割输出； 由像素与实例质心组成实例掩码， 预测相对偏移量， 使用区域离 散化处理； 构造投票过滤， 使距离实例质心越远， 空间单元就越大， 过滤器被构造一个正方形单元 格的网格， 其尺 寸向外径向扩展， 它涉及K＝233个单元格， 在一个M＝243像素的区域上应用 于1/4输入分辨 率的图像， 因此覆盖 了高达972x972的全分辨 率。 转置卷积投票， 使用扩张性反卷积和平均池化来聚集概率投票到他们的预期空间位 置； 投影过滤器处理， 为每个峰值区域确定最有利于这个特定最大值的像素， 首先获取每 个像素处的argmax(最值函数)投票指数。 这是一个大小为[H,W,1]的张量。 然后， 在一个峰 值区域内， 对查询过滤器进行卷积， 并对argmax(最值函数)投票指数执行相等比较， 以挑选 出该峰值区域内最强投票的所有像素； 输出卷积神经网络特 征。 4.根据权利要求2所述的新型航道船舶监控预警系统， 其特征在于， 在所述根据 所述视 觉特征， 采用时空特 征的像素投票的全景图像分割之前， 还 包括： 对所述视 觉特征的格式进行规范化处 理， 生成格式规范的视 觉特征。 5.根据权利要求1所述的新型航道船舶监控预警系统， 其特征在于， 处理模块具体包 括： 特征金字塔网络(FPN)分割单元， 基于像素共识投票的卷积神经网络处理并将将特征 张量反馈给两个 独立的子分支； 膨胀卷积单 元， 离散化投票， 转置卷积扩大 特征量； 投票单元， 对特征离散化， 投票 算法处理， 标记出投票热图； 特征输出单元， 用于获取 所述卷积神经网络 输出层输出作为卷积神经网络特 征。 6.根据权利要求4所述的新型航道船舶监控预警系统， 其特征在于， 所述主干和特征提 取元架构构造具体包括： 遵循全景分割网络(UPSNet)的设计， 它将特征金字塔网络(FPN)与深度残差网络 (ResNet)骨干重新定义， 用于语义分割。 从特征金字塔网络(FPN)的每个阶段特征， 分别在 输入分辨率的1/32、 1/16.1/8和1/4， 经过一个共享的可变形卷积模块， 然后被上采样到输 入尺度的1/4的均匀大小。 在通道级 联之前， 特征图的通道尺 寸通过1x1的卷积从256减少到 128。 在此基础上， 应用1x1 的卷积,归一化指数函数(softmax)和4x最近邻上采样来生成逐 像素标签。 7.根据权利要求4所述的新型航道船舶监控预警系统， 其特征在于， 所述 区域离散化处 理具体包括： 一组像素 和实例质心 组成的实例掩码。 预测相对 偏移量δi＝c‑pi， 来自一个像素通常被视为偏移回归 。 为防止直接回归限制了系统表达不确 定性的能力， 并存在 “回归到均值 ”的典型问题。 采用一个不确定实例质心位置的像素可能会通过指向多个候选点之间来对冲从而产 生假峰和假阳性； 在反向投影时， 将框架投票作为质心可能驻留的空间单 元的分类。权　利　要　求　书 2/3 页 3 CN 114679568 A 3