(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210984259.9 (22)申请日 2022.08.17 (71)申请人 康一 地址 063100 河北省唐山市古冶区北 范新 民街7号 (72)发明人 康一　郭子豪　 (74)专利代理 机构 北京同辉知识产权代理事务 所(普通合伙) 11357 专利代理师 孙艳敏 (51)Int.Cl. G08G 1/017(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/36(2022.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/62(2022.01) G06V 40/16(2022.01) G07C 9/21(2020.01) G07C 9/25(2020.01) (54)发明名称 一种车辆进 入无接触式智能控制方法 (57)摘要 本发明公开了一种车辆进入无接触式智能 控制方法， 包括如下过程： S1车辆触发系统启动， S2车牌和人面部图像采集， S3 图像识别： 车牌识 别模块和口罩识别模块分别对所述车牌图像和 人面识图像进行识别， 得到车牌号码数据和是否 佩戴口罩的判断结果； S4识别数据的处理： 对于 口罩识别模块识别结果是， 启动健康码处理模块 识别健康码， 并判断健康码是否正常； S5入口闸 机的控制： 当健康码处理模块识别结果为是， 控 制模块向闸机发送开启指令控制入口闸机开启， 并记录车牌号码和进入时间。 其中车牌和口罩识 别模块， 采用YOLOV4。 本发明实现了车牌与口罩 佩戴的自动智能识别， 特别是还 结合健康码的自 动识别判断， 不仅提高了效率， 还提高的安全性， 适应疫情控制的需要。 权利要求书2页 说明书7页 附图1页 CN 115331453 A 2022.11.11 CN 115331453 A 1.一种车辆进入无接触式智能控制方法， 包括如下 过程： S1触发系统启动： 当车辆进入入口闸机预定位置， 触发控制系统工作， 链接系统硬件， 并选择串口启动程序； S2车牌和人面部 图像采集： 图像采集设备启动， 识别车牌的摄像头和识别人面部的摄 像头分别采集车牌图像和人面部图像； S3图像识别： 车牌识别模块和口罩识别 模块分别对S2采集的所述车牌图像和人面识图 像进行识别， 得到车牌 号码数据和是否佩戴口罩的判断结果； S4识别数据的处理： 对于口罩识别模块识别结果为否， 控制模块控制反馈模块通过语 音或文字提醒车内人员佩戴口罩； 识别结果为是， 启动健康码处理模块以识别健康码， 并判 断健康码是否正常； S5入口闸机的控制： 当健康码处理模块识别结果为是， 控制模块向闸机发送开启指令 控制入口闸机开启， 并记录车牌号码和进入时间； 当健康码处理模块识别结果为否， 控制模 块不给闸机发送开启指令并通过 所述反馈模块 通过语音或文字提醒禁止进入。 2.如权利要求1所述的车辆进入无接触式智能控制方法， 其特征在于： 所述口罩识别模 块， 采用YOLOV4  mobilenetv2进行识别， 包括训练子模块和检测子模块。 3.如权利要求2所述的车辆进入无接触式智能控制方法， 其特征在于： 所述检测子模块 口罩检测方法为： C1获取摄像头所采集的图像； C2加载口罩检测模型； C3加载检测种类标签文件； C4加载先验框对应的txt文件； C5对图像进行不失真图像尺寸调整； C6判断GPU是否可用； C7将图像输入 网络中进行预测， 得出预测框， 对预测框进行堆叠， 然后进行非极大值抑 制； C8输出目标位置以及目标种类概 率； C9将检测结果在图像上进行绘制并显示。 4.如权利要求1所述的车辆进入无接触式智能控制方法， 其特征在于： 所述车牌识别模 块包括训练子模块和检测子模块， 所述检测子模块包括车牌预处理、 车牌提取和车牌字符 识别步骤， 具体为： B1车牌预处理： 对车牌图像进行灰度化处理， 然后对图像边缘提取， 对边缘提取的图像 进行腐蚀和膨胀， 再进行均值滤波， 得到预处 理图像； B2车牌提取流程： 使用findContours对B1步骤预处理过后的图像进行轮廓查找， 遍历 轮廓， 获取每个查找到的轮廓的最小外接矩形的中心 坐标， 宽高以及旋转角度， 然后根据宽 高变换进行宽高交换， 然后根据车牌的宽高比进行车牌初步提取， 将提取到的车牌进行仿 射变换以及裁剪， 获取到提取的车牌区域图像， 将裁剪过后的车牌进 行平均像素计算， 根据 计算到的图像RGB值进行判断当前 车牌的颜色， 筛 选掉颜色不 正确的车牌； B3车牌字符识别： 将B2步骤筛选后的图像进行尺寸调整， 并进行字符识别， 字符识别采 用YOLOV4模型进行 车牌字符识别， 最后返回车牌识别字符结果。权　利　要　求　书 1/2 页 2 CN 115331453 A 25.如权利要求1所述的车辆进入无接触式智能控制方法， 其特征在于： 所述健康码处理 模块， 使用opencv4的QRCodeDetector函数进行识别健康码的二维码， 获取识别到的二维码 解析的信息 。 6.如权利要求2或4所述的车辆进入无接触式智能控制方法， 其特征在于： 所述训练子 模块的训练方法如下： T1制作数据集： 制作车牌或人脸图片， 人脸图片要包括未佩戴口罩和佩戴口罩的人脸 图片， 使用labelme对图片信息做标记， 每次标注一张图片完成时都将所标注的信息保存 为.xml文件， 所有xml文件中会 包含所标注图像的ROI区域信息； T2训练参数设置： 在训练时需要对模型的网络超参数进行设定， 涉及图像输入分辨率、 置信度阈值、 与非极大值抑制的i ou大小、 初始学习速率、 和优化器 类型； T3模型训练： 将T2标记的图像数据集输入YOLOV4  mobilenetv2网络进行训练； T4模型欠拟合与过拟合处理： 在损失函数里添加限制权重参数过大的L1范数正则化或 者L2范数正则化， 在损失函数 下降的过程中， 使得权 重参数逐渐趋向0甚至等于 0； T5验证数据集与评测标准： 验证数据集首先将原来训练数据集中划分为K个不重叠的 子数据集， 接着再进行K个模型训练和验证， 最后对这K次的训练偏差和验证误差各自求平 均数； 评测标准采用mAP， 其计算公式如式1 ‑3所示： 其中QR是验证集个数。 7.如权利要求6所述的车辆进入无接触式智能控制方法， 其特征在于： 所述T4步骤中， 正则化可以分为L1正则化与L2正则化， L1正则化的计算方法如公式1 ‑1所示， L2正则化的计 算方法如公式1 ‑2所示： 同时， λ为 正则化因子， 是超参数； ||w||1为L1范数， ||w||1为L2范数。权　利　要　求　书 2/2 页 3 CN 115331453 A 3