(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111668610.5 (22)申请日 2021.12.31 (71)申请人 泉州装备制造 研究所 地址 362000 福建省泉州市台商投资区洛 阳镇上浦村吉贝51 1号 (72)发明人 李琦铭　李俊　毕钰泉　曾辉雄　 (74)专利代理 机构 泉州市文华专利代理有限公 司 35205 代理人 陈雪莹 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于改进的多尺度残差网络的行人检 测方法 (57)摘要 本发明涉及一种基于改进的多尺度残差网 络的行人检测方法， 其首先对输入图像进行多层 卷积网络的特征提取， 以多尺度方式拆 分和拼接 特征图， 大大提高了网络对行人的多尺度表达能 力。 其次， 通过充分融合高低层的行人特征来提 升对多尺度行人的检测精度； 然后， 将融合后的 特征图通过检测头， 生成中心点特征图、 尺度特 征图和中心点偏移量特征图， 将特征图解译为检 测结果； 最后输出带有边界框的行人。 本发明的 主干网络包含不同数量和不同组合的感受野， 有 效促进了网络对多尺度行人特征的提取， 显著提 高对不同大小的行 人的检测性能。 权利要求书2页 说明书7页 附图4页 CN 114332944 A 2022.04.12 CN 114332944 A 1.一种基于改进的多尺度残差网络的行人检测方法， 其特征在于： 所述方法包括以下 步骤： 步骤1、 输入图像， 并将输入图像通过多尺度残差网络进行 特征提取； 多尺度残差网络包括stem模块、 以及第一阶段、 第二阶段、 第三阶段和第四阶段， 其中 第一阶段包括三个Res2NeXt*模块， 第二阶段包括四个Res2NeXt*模块， 第三阶段包括六个 Res2NeXt*模块， 第四阶段包括 三个Res2Ne Xt*模块； 输入图像经过stem模块处理后依次进入第一阶段～第四阶段， 相应地生成多个具有不 同分辨率的特征图， 将其定义 为： Φi＝fi(Φi‑1)＝fi(fi‑1(…f2(f1(I)))) 其中， Φi代表网络第i层输出的特 征图； 所述Res2NeXt*模块在瓶颈块 中以一个3 ×3卷积核组代替ResNeXt模块中一个单独的3 ×3卷积核； 在1 ×1卷积核后， 特征图被均匀地分成s个子特征图， 用xi表示， 其中， i∈{1， 2，…， s}； 每个xi经过一个3 ×3卷积核， 输出用Ki()表示， 并把Ki()的输出记为yi； 子特征图 xi与Ki‑1的输出相加， 然后输入到Ki()， 因此， yi可以被表示 为： 由此可得， 每个3 ×3卷积核Ki()都可以潜在地从其他所有子特征图xj中接收到特征信 息， 其中， {xj， j≤i}； 步骤2、 对高低层特 征进行特征融合； 将第二阶段、 第三阶段和第四阶段输出的多尺度特征图Φ2， Φ3， Φ4进行了L2归一化和 反卷积处理， 将它们的分辨率上采样到和Φ1的大小一致， 然后将经过处理后的特征图拼接 起来， 得到用于检测头的特 征图； 步骤3、 利用检测头将特 征图解译为检测结果； 在拼接的特征图后添加一个检测头对其进行检测； 用于检测的特征图进入检测头后首 先经过一个3 ×3卷积核， 然后附加三个并列的1 ×1卷积核， 分别生成行人中心 点特征图、 行 人尺度特征图和中心点偏移量特征图； 然后， 根据中心点特征图和尺度特征图中相应的尺 度自动生成输入图像的行人候选框； 最后， 通过中心点偏移量预测对行人中心点的位置进 行微调； 由此， 行人检测可以表示 为： Dets＝H(Φdet)＝{cls(Φdet)， regr(Φdet)}     (3) 其中， H(.)代表检测头， Φdet代表用于检测的特征图； cls(.)为预测分类置信度， regr (.)为预测行 人的尺度和中心点的偏移量。 2.根据权利要求1所述的一种基于改进的多尺度残差网络的行人检测方法， 其特征在 于： 所述步骤3中， 采用了focalloss来训练检测头中行人中心点位置预测的目标函数 Lcenter：权　利　要　求　书 1/2 页 2 CN 114332944 A 2其中， 在上式中， pij∈[0， 1]是网络对于行人中心点位置的预测分布， yij∈[0， 1]指定行人的 中心点是否落在位置(i， j)， yij＝1代表(i， j)是正样本的位置； γ和β 是聚焦超参数； 对于尺度和偏移预测， 使用s mooth L1损失函数来训练目标函数Lscale和Loffset： 其中sk和 分别代表网络对第k个 行人的尺度的预测结果和真实值， ok和 分别代表网 络对第k个行 人的偏移的预测结果和真实值； 综上， 总的训练损失函数被定义 为： L＝ λcLcenter+λsLscale+λoLoffset       (13) 其中， λc， λs， 和 λo分别对应中心点分类损失， 尺度回归损失和偏移回归损失的权 重。权　利　要　求　书 2/2 页 3 CN 114332944 A 3