(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111620306.3 (22)申请日 2021.12.28 (71)申请人 青岛科技大 学 地址 266061 山东省青岛市松岭路9 9号青 岛科技大 学信息学院 (72)发明人 李辉　梁孝国　刘祥　崔雪红　 赵国伟　杨浩冉　 (74)专利代理 机构 青岛联智专利商标事务所有 限公司 37101 代理人 李升娟 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的多目标跟踪方法 (57)摘要 本发明公开了一种基于深度学习的多目标 跟踪方法， 所述方法包括对视频图像序列执行特 征提取的过程， 所述特征提取的过程包括： 将视 频图像序列中相邻的两视频帧作为原始输入， 获 取所述原始输入对应的原始张量， 将所述原始张 量输入至多特征提取网络， 获得多特征图； 将所 述多特征图输入时空融合网络， 获得时空特征增 强的时空融合特征图， 实现对视频图像序列的特 征提取； 所述多特征提取网络为残差网络架构， 包括有多个多特征提取模块， 每个所述多特征提 取模块包括通道子模块、 动作子模块、 特征相关 子模块及残差网络的残差块。 本发 明通过对特征 提取骨干网络中的残差块进行改进， 提高提取特 征的显著性， 进 而提高目标跟踪的精度。 权利要求书2页 说明书9页 附图3页 CN 114220061 A 2022.03.22 CN 114220061 A 1.一种基于深度学习的多目标跟踪方法， 其特征在于， 所述方法包括对视频图像序列 执行特征提取的过程， 所述特 征提取的过程包括： 将视频图像序列中相邻的两视频帧作为原始输入， 获取所述原始输入对应的原始张 量， 将所述原 始张量输入至多特 征提取网络， 获得多特 征图； 将所述多特征图输入时空融合网络， 将时序信息与空间信息融合， 获得时空特征增强 的时空融合特 征图， 实现对视频图像序列的特 征提取； 所述多特征提取网络为残差网络架构， 包括有多个多特征提取模块， 每个所述多特征 提取模块包括 通道子模块、 动作子模块、 特 征相关子模块及残差网络的残差块； 所述多特 征提取网络采用下述方法获得 所述多特 征图： 所述通道子模块对所述原始张量执行空间平均池化处理、 卷积处理和激活处理， 生成 通道掩码， 所述 通道掩码与所述原 始张量融合， 获得与所述原 始张量维度相同的通道特 征； 所述动作子模块对所述原始张量进行特征提取， 获得帧间目标运动变化张量， 对所述 帧间目标运动变化张量执行 空间平均池化处理、 卷积处理和激活处理， 生成动作掩码， 所述 动作掩码与所述原 始张量融合， 获得与所述原 始张量维度相同的动作特 征； 所述特征相关子模块对所述原始张量执行卷积处理和相关操作处理， 获得与 所述原始 张量维度相同的特 征相关特 征； 将所述通道特征、 所述动作特征、 所述特征相关特征及所述原始张量进行融合， 获得融 合特征， 将所述融合特征输入所述残差网络的残差块进行特征提取， 再将所述残差网络的 残差块提取的特 征与所述原 始张量进行融合， 获得 所述多特 征图。 2.根据权利要求1所述的基于深度学习的多目标跟踪方法， 其特征在于， 所述通道子模 块对所述原始张量执行空间平均池化处理、 卷积处理和激活处理， 生 成通道掩码， 所述通道 掩码与所述原 始张量融合， 获得与所述原 始张量维度相同的通道特 征， 具体包括： 所述通道子模块对所述原始张量执行空间平均池化处理， 获得输入特征的全局空间特 征； 利用1*1卷积压缩所述全局空间特征的通道数并重构特征， 然后再次利用1*1卷积对通 道数进行还原， 获得还原后特 征张量； 利用激活函数激活所述还原后特 征张量， 生成所述 通道掩码； 将所述通道掩码与所述原 始张量进行点积运 算的融合， 获得 所述通道特征。 3.根据权利要求1所述的基于深度学习的多目标跟踪方法， 其特征在于， 所述动作子模 块对所述原始张量进行特征提取， 获得帧间目标运动变化张量， 对所述帧间目标运动变化 张量执行 空间平均池化处理、 卷积处理和激活处理， 生成动作掩码， 所述动作掩码与所述原 始张量融合， 获得与所述原 始张量维度相同的动作特 征， 具体包括： 所述动作子模块将所述原始张量分离为前一帧图像张量和当前帧图像张量， 对所述前 一帧图像张量和所述当前帧图像张量分别执行维度信息不变的图像特征提取， 将所述当前 帧图像张量经特征提取后的结果执行卷积操作， 然后与所述前一帧图像张量经特征提取的 结果相减， 获得 所述帧间目标运动变化张量； 对所述帧间目标运动变化张量执 行空间平均池化处 理， 获得目标运动全局空间特 征； 利用1*1卷积处 理所述目标运动全局空间特 征， 获得还原后特 征张量； 利用激活函数激活所述还原后特 征张量， 生成所述动作掩码；权　利　要　求　书 1/2 页 2 CN 114220061 A 2将所述动作掩码与所述原 始张量进行点积运 算的融合， 获得 所述动作特 征。 4.根据权利要求1至3中任一项所述的基于深度学习的多目标跟踪方法， 其特征在于， 所述方法还 包括： 将所述时空融合特征图输入区域提议网络进行训练， 获得目标的分类和边界框的回 归， 确定回归的目标检测框； 采用注意力模块在所述目标检测框上提取用于数据关联的原 始目标特征； 基于所述原 始目标特征进行特征聚合， 获得聚合目标 特征； 基于所述聚合目标 特征进行数据关联， 获得目标在时序上的轨 迹。 5.根据权利要求4所述的基于深度学习的多目标跟踪方法， 其特征在于， 采用注意力模 块在所述目标检测框上提取用于数据关联的原始目标特征， 基于所述原始目标特征进 行特 征聚合， 获得聚合目标 特征， 具体包括： 采用注意力模块在所述目标检测框上提取用于数据关联的原 始目标特征； 所述注意力模块计算指定目标与 其他邻近目标之间的IoU值， 并与预设IoU阈值进行比 较； 若所述指定目标的IoU值大于所述预设IoU阈值， 判定所述指定目标被遮挡； 否则， 判定 所述指定目标 未被遮挡； 将所述原始目标特征输入特征筛选模块， 所述特征筛选模块根据 所述指定目标是否被 遮挡对所述指 定目标的目标特征赋予指定权重系数， 并基于所述指定权重系数筛选所述原 始目标特征， 获得筛 选后目标 特征； 对所述筛 选后目标 特征进行特征聚合， 获得 所述聚合目标 特征。 6.根据权利要求5所述的基于深度学习的多目标跟踪方法， 其特征在于， 对所述筛选后 目标特征进行特征聚合， 获得聚合目标 特征， 具体包括： 对当前视频帧及 之前的多帧视频帧中的多个目标的筛选后目标特征进行聚合池化， 获 得多特征聚合池化后特 征； 将所述多特征聚合池化后特征与所述当前视频帧的多个目标的聚合后目标特征进行 融合， 获得 特征增强的聚合目标 特征。 7.根据权利要求4所述的基于深度学习的多目标跟踪方法， 其特征在于， 在基于所述原 始目标特征进 行特征聚合的过程中， 采用交叉熵损失函数训练同一目标聚合前后特征差异 的损失， 采用三元组损失函数最大化不同目标间特征的差异以及最小化同一目标的特征差 异。 8.根据权利要求4所述的基于深度学习的多目标跟踪方法， 其特征在于， 在将所述 时空 融合特征图输入区域提议网络进行训练， 获得目标 的分类和边界框的回归， 确定回归的目 标检测框的过程中， 采用交叉熵损失函数学习目标预测类别与真实标签之间的差异， 采用 Smooth L1损失函数 执行目标边界框的回归训练。权　利　要　求　书 2/2 页 3 CN 114220061 A 3