(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111626144.4 (22)申请日 2021.12.28 (71)申请人 天翼数字生活科技有限公司 地址 200072 上海市 静安区万 荣路1256、 1258号1423室 (72)发明人 汪洋　张燕　成国强　林兵伟　 (74)专利代理 机构 上海专利商标事务所有限公 司 31100 专利代理师 蔡悦　亓云 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/74(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于关键帧调度的视频流交通标志检 测方法 (57)摘要 本公开提出了一种基于关键帧的交通标志 检测方法。 该方法包括： 从视频帧序列中读取当 前帧； 判断当前帧与关键帧是否相似； 当判定当 前帧与关键帧不相似时， 更新关键帧为所述当前 帧， 并通过特征提取网络提取当前帧的特征； 当 判定当前帧与所述关键帧相似时， 根据关键帧的 特征以及当前帧与关键帧之间的光流场通过特 征传递获取所述当前帧的特征； 以及通过任务网 络基于当前帧的特征来检测交通标志。 根据本公 开的交通标志检测方法能够在复杂的道路交通 场景中实现对大量视频流中的交通标志的快速 检测， 提高了 检测的效率和实时性。 权利要求书2页 说明书10页 附图7页 CN 114913502 A 2022.08.16 CN 114913502 A 1.一种用于训练关键帧调度网络的方法， 所述方法包括： 从视频帧序列中读取当前帧； 获取关键帧以及所述关键帧的特 征； 计算所述当前帧与所述关键帧之间的光 流场； 使用匹配算法将检测结果Gd与检测结果Od进行匹配来判断所述当前帧与所述关键帧是 否相似， 其中所述检测结果Gd是通过任务 网络基于通过特征提取网络提取的所述当前帧的 特征得到的， 而所述检测结果Od是通过所述任务网络基于经由根据所述关键帧的特征以及 所述当前帧与关键帧之间的光 流场通过 特征传递得到的所述当前帧的特 征得到的； 将所述当前帧与关键帧之间的光流场与判定两个帧是否相似的结果进行关联以形成 训练数据； 以及 基于所述训练数据来训练所述关键帧调度网络 。 2.如权利要求1所述 的方法， 其特征在于， 使用匹配算法将检测 结果Gd与检测结果Od进 行匹配来判定所述当前帧与所述关键帧是否相似进一 步包括： 使用匈牙利算法将检测结果Gd与检测结果Od进行匹配来判定所述当前帧与所述关键帧 是否相似。 3.如权利要求1所述的方法， 其特征在于， 基于所述训练数据来训练所述关键帧调度网 络进一步包括： 通过所述关键帧调度网络基于所述当前帧与关键帧之间的光流场输入来预测所述当 前帧与所述关键帧是否相似； 以及 基于所述当前帧与所述关键帧是否相似的判定结果和预测结果使用随机梯度下降法 训练模型通过损失函数来训练所述关键帧调度网络 。 4.一种用于检测交通标志的方法， 所述方法包括： 从视频帧序列中读取当前帧； 判断所述当前帧与关键帧是否相似； 当判定所述当前帧与所述关键帧不相似时， 更新所述关键帧为所述当前帧， 并通过特 征提取网络提取 所述当前帧的特 征； 当判定所述当前帧与 所述关键帧相似时， 根据所述关键帧的特征以及所述当前帧与关 键帧之间的光 流场通过 特征传递获取 所述当前帧的特 征； 以及 通过任务网络基于所述当前帧的特 征来检测交通标志。 5.如权利要求4所述的方法， 其特征在于， 判断所述当前帧与关键帧是否相似进一步包 括： 获取所述关键帧以及所述关键的特 征； 计算所述当前帧与所述关键帧之间的光 流场； 以及 通过关键帧调度网络来判断所述当前帧与所述关键帧是否相似。 6.如权利要求4所述的方法， 其特征在于， 所述任务网络包括区域建议网络和检测网 络， 其中所述区域建议网络与Faster  R‑CNN中的区域建议网络相同， 并且其中所述检测网 络是使用Ro I Align层代替Faster  R‑CNN中的检测网络的感兴趣区域池化层来获得的。 7.一种用于训练关键帧调度网络的设备， 所述设备包括： 获取模块， 其被配置成从视频帧序列中读取当前帧并获取关键帧 以及所述关键帧的特权　利　要　求　书 1/2 页 2 CN 114913502 A 2征； 计算模块， 其被 配置成计算所述当前帧与所述关键帧之间的光 流场； 判断模块， 其被配置成使用匹配算法将检测 结果Gd与检测结果Od进行匹配来判断所述 当前帧与所述关键帧是否相似， 其中所述检测结果Gd是通过任务 网络基于通过特征提取网 络提取的所述当前帧的特征得到的， 而所述检测结果Od是通过所述任务网络基于经由根据 所述关键 帧的特征以及所述当前帧与关键 帧之间的光流场通过特征传递得到的所述当前 帧的特征得到的； 关联模块， 其被配置成将所述当前帧与关键帧之间的光流场与 所述当前帧与 所述关键 帧是否相似进行关联以形成训练数据； 以及 训练模块， 其被 配置成基于所述训练数据来训练所述关键帧调度网络 。 8.如权利要求7所述的方法， 其特征在于， 基于所述训练数据来训练所述关键帧调度网 络进一步包括： 通过所述关键帧调度网络基于所述当前帧与关键帧之间的光流场输入来预测所述当 前帧与所述关键帧是否相似； 以及 基于所述当前帧与所述关键帧是否相似的判定结果和预测结果使用随机梯度下降法 训练模型通过损失函数来训练所述关键帧调度网络 。 9.一种用于检测交通标志的设备， 所述设备包括： 获取模块， 其被配置成从视频帧序列中读取当前帧并获取关键帧以及所述关键的特 征； 计算模块， 其被 配置成计算所述当前帧与所述关键帧之间的光 流场； 判断模块， 其被配置成通过关键帧调度网络来判断所述当前帧与所述关键帧是否相 似， 其中： 当判定所述当前帧与所述关键帧不相似时， 通过特征提取网络提取所述当前帧的特 征； 以及 当判定所述当前帧与 所述关键帧相似时， 根据所述关键帧的特征以及所述当前帧与关 键帧之间的光 流场通过 特征传递获取 所述当前帧的特 征； 以及 检测模块， 其被 配置成通过任务网络基于所述当前帧的特 征来检测交通标志。 10.如权利要求9所述的设备， 其特征在于， 判断所述当前帧与关键帧是否相似进一步 包括： 获取所述关键帧以及所述关键的特 征； 计算所述当前帧与所述关键帧之间的光 流场； 以及 通过关键帧调度网络来判断所述当前帧与所述关键帧是否相似。权　利　要　求　书 2/2 页 3 CN 114913502 A 3