(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211001454.1 (22)申请日 2022.08.19 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区砚瓦池 正街47号 (72)发明人 魏俊宇　孙浏鑫　苏绍璟　左震　 孙晓永　童小钟　刘博坤　钱瀚翔　 赵宗庆　 (74)专利代理 机构 长沙三七知识产权代理事务 所(普通合伙) 43287 专利代理师 段红玉 (51)Int.Cl. G01C 21/00(2006.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 20/70(2022.01) (54)发明名称 基于检测分割的动态场景下的并行SLAM方 法 (57)摘要 本发明公开了基于检测分割的动态场景下 的并行SLAM方法， 语义线程执行以下步骤： 提取 待更新的关键帧对应的RGB图片； 通过ROS向 SOLO_V2功能包发送实例分割请求； 基于ROS得到 实例分割结果； 基于共视关系获取地图点并进行 投影； 对先验动态区域内的投影对应的地图点的 动态状态进行更新； 对先验静态区域内的投影对 应的地图点的语义属性进行更新； 在得到实例分 割结果后， 结合关键帧的掩码进行系统中地图点 动态概率和语义属性的更新。 本发 明在语义线程 中对关键帧进行实例分割来实时更新地图点的 语义属性和动态 状态， 依据动态 程度设置不同的 几何约束阈值进行第二轮滤除， 实现更好的动态 点滤除效果。 权利要求书4页 说明书13页 附图5页 CN 115451939 A 2022.12.09 CN 115451939 A 1.基于检测 分割的动态场景下的并行SLAM方法， 其特征在于， 在ORB ‑SLAM系统中增加 语义线程和语义优化线程， 所述语义线程和语义优化线程与ORB ‑SLAM系统中的跟踪线程， 局部建图线程和回环检测线程并行运行， 所述方法包括以下步骤： 所述语义线程执 行以下步骤： 提取待更新的关键帧对应的RGB图片； 通过ROS向SOLO_V 2功能包发送实例分割请求； 基于ROS得到实例分割结果； 基于共视关系获取地图点并进行投影； 提取先验动态区域， 对先验动态区域内的投影对应的地图点的动态状态进行 更新； 提取先验静态区域， 对先验静态区域内的投影对应的地图点的语义属性进行 更新； 在得到实例分割结果后， 结合关键帧的掩码进行系统中地图点动态概率和语义属性的 更新； 所述语义优化线程执 行以下步骤： 结合语义线程获取当前待优化关键帧的先验静态掩码； 计算每个掩码区域的质心并保存； 基于共视关系获取地图点并进行投影； 遍历当前待优化关键帧的所有地图点,寻找最邻近掩码区域； 遍历当前待优化关键帧的所有地图点,更新地图点的最邻近语义区域的最邻近边界 点； 基于投影点和最邻近边界点的距离构建约束； 基于图优化框架进行姿态的优化。 2.根据权利要求1所述的基于检测分割的动态场景下的并行SLAM方法， 其特征在于， 在 基于运动模型跟踪时， 投影点来源于地图点的投影， 滤除掉先验动态目标掩码内的投影点 可转化为识别出动态地图点； 当地图点为动态时， 不使用对应的投影点即可实现滤除； 基于 运动模型跟踪不需要每一帧的语义分割结果， 以节约跟踪线程中耗时最久的语义分割时 间， 具体流 程如下： 在跟踪线程中滤除动态地图点在当前帧匹配的特 征点； 在跟踪线程中依据滤除后的特 征点进行姿态的计算。 3.根据权利要求1所述的基于检测分割的动态场景下的并行SLAM方法， 其特征在于， 为 进一步减少跟踪时间， 在语义线程中对地图点概率进行更新， 包括对地图点的动态概率更 新和动态状态更新。 4.根据权利要求3所述的基于检测分割的动态场景下的并行SLAM方法， 其特征在于， 在 语义线程中， 仅对具有代表性的帧进行实例分割操作， 并依据先验动态目标掩码和投影点 的位置关系进行地图点动态概 率的更新； 所述动态概 率更新策略具体如下： 权　利　要　求　书 1/4 页 2 CN 115451939 A 2pd_last和ps_last依次为上一次更新时的动 态概率和静态概率， pd‑current和ps_current依次为 当前关键帧基于实例分割更新后的动态概率和静态概率， pd_temp和ps_temp依次为动态概率和 静态概率的中间变量， ε为归一化系数， p为更新系数， εd和 εs之和为1， εd为动态概率的归一 化系数， εs为静态概率的归一化系数， 当投影点位于先验动态区域时， εd等于p， 当投影点位 于先验动态区域外时， εs等于p。 5.根据权利要求3所述的基于检测分割的动态场景下的并行SLAM方法， 其特征在于， 当 地图点的动态概率大于0.75时， 认为该地图点属于动态点， 在跟踪线程中将对动态地图点 的投影匹配结果进行初步的滤除操作。 6.根据权利要求1所述的基于检测分割的动态场景下的并行SLAM方法， 其特征在于， 在 跟踪线程中增加动态特征的滤除模块， 进 行一种基于区域动态程度的结合几何约束的二次 滤除方法， 包括区域动态程度获取， 基于对极约束的异常值判定和基于深度误差的异常值 判定。 7.根据权利要求6所述的基于检测分割的动态场景下的并行SLAM方法， 其特征在于， 所 述区域动态程度获取包括： 将图像区域划分为m*n个的网格区域， 根据地图点的动态状态得到部分动态地图点的 投影点， 将动态地图点投影所在网格区域标注为动态区域； 依据距离动态网格区域的距离来对网格区域进行动态程度的划分； 在得到依据距离划分的区域动态程度后， 将距离换算成比例， 其中比例用于后续操作 中不同区域的阈值划分， 转 化方式为sigmo id逻辑回归函数， 公式如下 所示： d对应为距离动态网格区域的距离， δ对应为变换系数， 通过这种方式， 得到距离对应的 比例信息进 而用于阈值的设定； 所述基于对极约束的异常值判定包括： I1和I2依次为相机在上一时刻和当前时刻得到的RGB图像， O1和O2依次为上一时刻和当 前时刻下相机对应的光心位置， P为相 邻时刻下共同观测到的一个地图点， 在姿态绝对准确 的情况下， 地图点P在当前时刻下的投影将处于由极点e2和p2组成的射线上， 但是， 由于动态 物体的运动， 动态地图点的投影作为异常数据并不会满足上述约束； 在获得区域动态程度 后， 基于投影点与射线的距离进一 步滤除异常值； 初始化完成后， 基于运动模型的方法进行跟踪， 姿态的初始值采用的是上一帧的计算 得到的姿态， 需要结合距离和区域动态程度进行 滤除操作， 滤除操作步骤如下： (1)获取基础矩阵： 首先根据检测得到的Harris角点进行初步匹配， 随后基于光流金字 塔来进一步优化匹配结果； 再滤除角点位置周围3*3网格区域内亮度差值大的点， 最后结合 RANSAC离群值滤除算法进行基础矩阵的计算； (2)获取距离信息： 所述距离为当前帧下每一个投影点距离射线 的距离； 在得到基 础矩阵后， 用下式表示特 征点p1和pΠ， 其中u和v 对应图像 像素坐标： 权　利　要　求　书 2/4 页 3 CN 115451939 A 3