(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211002108.5 (22)申请日 2022.08.20 (71)申请人 北京航空航天大 学 地址 100083 北京市海淀区学院路37号 (72)发明人 任毅龙　常屹卓　杜恒　仓怀明　 于海洋　 (74)专利代理 机构 北京佳信天和知识产权代理 事务所(普通 合伙) 11939 专利代理师 张宏伟 (51)Int.Cl. G06V 20/59(2022.01) G06V 40/16(2022.01) G06V 40/20(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于机器视觉的地铁驾驶员标准指差 呼唤行为识别方法 (57)摘要 本发明公开了一种基于机器视觉的地铁驾 驶员标准指差呼唤行为识别方法， 包括： 利用布 设在前方和侧方的摄像机设备实时采集视频流； 基于视频流， 确定关键节点的识别； 根据识别结 果， 确定前方摄像机拍摄画面的鼻子节点与左右 肩节点中点的连线斜率a， 和左腕节点与左肩节 点的连线斜率b， 以及侧方摄像机拍摄画面的左 肩节点与左脚踝节点的连线 斜率c； 通过斜率a和 斜率b得到夹角θarm1； 通过斜率b和斜率c得到夹 角θarm2； 分别判断夹角θarm1与夹角θarm2是否符 合预设的误差范围； 如果符合， 根据目标跟踪算 法， 判断动作保持时间； 若动作保持超过预设的 标准时间， 则确定标准指差呼唤动作完成。 本发 明实现驾驶员进行指差呼唤时， 辅助驾驶员做出 标准动作。 权利要求书2页 说明书7页 附图4页 CN 115512338 A 2022.12.23 CN 115512338 A 1.一种基于 机器视觉的地铁驾驶员标准指差呼唤行为识别方法， 其特 征在于， 包括： 利用在驾驶室内布设的驾驶员前方和驾驶员左侧方的摄像机设备实时采集视频流； 将 所述驾驶员驾驶员前方和驾驶员左侧方的摄像机设备采集的视频流进 行拼接， 整合到一个 通道中， 作为单源视频； 基于所述单源视频， 确定中驾驶员前方摄像机设备拍摄的驾驶员的身体垂线、 鼻子、 左 右肩和左腕节点， 以及驾驶员左侧 放摄像机设备拍摄的侧方摄像机拍摄画面的左肩、 左脚 踝和左腕节点； 标准指差呼唤行为判定， 取鼻子和左、 右肩中点的连线作为身体垂线， 取左腕和左肩连 线作为手臂指向， 计算手臂与身体垂线的第一夹角； 计算左腕左肘连线与左肩左肘连线之 间的第二夹角； 根据所述第一夹角是否在预定误差范围之内、 第二夹角是否大于阈值以及 指差呼唤行为保持时间， 判断标准指差呼唤动作是否 完成。 2.根据权利要求1所述的一种基于机器视觉的地铁驾驶员标准指差呼唤行为识别方 法， 其特征在于， 计算手臂与身体垂线的第一夹角包括， 在单源视频中， 驾驶员前方采集的图像取驾驶员鼻子节点与左右肩节点中点的连线作为身体垂线， 左 腕和左肩连线作为手臂， 计算所述第一夹角的第一数值； 驾驶员前左侧方采集的图像取驾 驶员左腕和左肩连线作为手臂取驾驶员左肩和左脚踝之 间的连线作为身体垂线， 计算所述 第一夹角的第二数值， 根据所述第一数值和第二数值是否同时满足预定的误差范围、 第二 夹角是否大于阈值以及指差呼唤行为保持时间， 判断标准指差呼唤动作是否 完成。 3.根据权利要求1所述的一种基于机器视觉的地铁驾驶员标准指差呼唤行为识别方 法， 其特征在于， 根据摄像机设备的视场角 θ和预设的驾驶员横纵可移动范围值Lhor、 Lver， 保 证前方摄像机设备相对于可移动区域中心的安装距离 保证左侧摄像机设备相对于可移动区域中心的安装 距离 根据驾驶员平均身高hdriver， 保证前方摄像机设备相对于驾驶舱地面的高度 保证左侧摄像机设备相对于驾驶舱地 面的高度 以所述安装距离rfront和所述高度hfront， 相对于驾驶员的前方90 °进行安装前方摄像机 设备； 以所述安装距离rside和所述高度hside， 相对于驾驶员的左侧90 °进行安装左侧摄像机 设备。 4.根据权利要求1所述的一种基于机器视觉的地铁驾驶员标准指差呼唤行为识别方 法， 其特征在于， 确定视频中驾驶员前方摄像机设备拍摄的驾驶员的身体垂线、 鼻子、 左右 肩和左腕节点， 以及驾驶员左侧 放摄像机设备拍摄的侧方摄像机拍摄画面的左肩、 左脚 踝 和左腕节点， 包括 通过包括人体检测器和跟踪器的网络预测人体状态和人体关键节点， 其中， 使用人体权　利　要　求　书 1/2 页 2 CN 115512338 A 2脸部检测器检测人体脸部， 通过人体其他部位检测器检测人体的其他关键节点， 从而建立 整个人体位姿； 使用跟踪器始终跟踪 人体脸部， 以预测关键点的坐标、 识别当前人体的状态 和人体关键节点； 根据偏移量回归的方法将预测的人体关键节点匹配到所述单源视频的图像上。 5.根据权利要求4所述的一种基于机器视觉的地铁驾驶员标准指差呼唤行为识别方 法， 其特征在于， 还 包括， 通过分类器判断关键点所述单源视频的图像内容中的关键节点是否被遮挡以及关键 点坐标的预测是否正确。 6.根据权利要求1所述的一种基于机器视觉的地铁驾驶员标准指差呼唤行为识别方 法， 其特征在于， 根据所述单源视频中第一夹角是在预定误差范围之内的第一持续时间、 和 第二夹角大于阈值的第二持续时间， 各自在视频中持续的时间组成的数组作为所述持续时 间， 当所述第一持续时间和所述第二持续时间均大于预定数值时， 判断为所述持续时间符 合要求。权　利　要　求　书 2/2 页 3 CN 115512338 A 3