(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210919555.0 (22)申请日 2022.08.02 (71)申请人 北京理工大 学 地址 100081 北京市海淀区紫竹院街道中 关村南大街5号 申请人 北京理工大 学长三角研究院 （嘉兴） (72)发明人 魏超　张美迪　李路兴　随淑鑫　 钱歆昊　胡乐云　徐扬　 (74)专利代理 机构 北京盛询知识产权代理有限 公司 11901 专利代理师 蔺巍 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/44(2022.01) G06V 10/25(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合传统特征提取与深度神经网络的 车道线检测方法 (57)摘要 本发明涉及一种融合传统特征提取与深度 神经网络的车道线检测方法， 包括： 基于输入道 路图片， 提取所述道路图片中车道线的先验特 征， 获得车道线先验特征图； 将所述车道线先验 特征图与所述道路图片进行拼接得到道路特征 图； 将所述道路特征图输入到深度神经网络模型 中， 对所述道路特征图进行特征提取与关键点预 测， 得到每条车道线中各关键点的位置坐标。 本 发明从传统特征与深度神经网络相融合的角度， 充分考虑了车道线的先验传统特征， 在图像输入 深度神经网络前， 利用传统特征提取方法获取车 道线的先验 特征， 使传统基于特征的车道线检测 方法与深度学习的方法优势互补， 在满足实时性 要求的前提下， 提高车道线检测算法的鲁棒性和 准确性。 权利要求书2页 说明书5页 附图4页 CN 115376082 A 2022.11.22 CN 115376082 A 1.一种融合传统特 征提取与深度神经网络的车道线检测方法， 其特 征在于， 包括： S1、 基于输入道路图片， 提取所述道路图片中车道线的先验特征， 获得车道线先验特征 图； S2、 将所述车道线先验特 征图与所述道路图片进行拼接得到道路特 征图； S3、 将所述道路特征图输入到深度神经网络模型中， 对所述道路特征图进行特征提取 与关键点预测， 得到每条车道线在预先设置好的网格单元中关键点的位置坐标， 其中所述 关键点为在所述网格单 元中属于车道线的点。 2.根据权利要求1所述的融合传统特征提取与深度神经网络的车道线检测方法， 其特 征在于， S1中， 获取 所述输入道路图片包括： 将车载相机通过支架固定在车位置顶中央， 调整所述车载相机的安装角度， 对准待检 测区域， 利用所述车 载相机采集车辆前 方待检测区域的道路图像。 3.根据权利要求2所述的融合传统特征提取与深度神经网络的车道线检测方法， 其特 征在于， 获得 所述车道线先验特 征图包括： S1.1、 对所述道路图片基于加权平均法进行灰度化处理， 配置RGB分量所占比重， 保留 所述道路图片中车道线的亮度信息， 得到道路的单通道灰度图； S1.2、 对所述单通道灰度图依次进行中值滤波、 线性灰度拉伸以及OTSU自动阈值分割， 然后根据所述车 载相机的安装角度以及所检测道路环境的特点， 选取感兴趣区域； S1.3、 对所述感兴趣区域图像进行Canny边缘检测操作， 将边缘检测后的图像与 边缘检 测前的图像中各像素点灰度值进 行加权平均， 输出的单通道图像即为所述车道线 先验特征 图。 4.根据权利要求1所述的融合传统特征提取与深度神经网络的车道线检测方法， 其特 征在于， S2中， 得到所述道路特 征图包括： 将所述车道线先验特征图与 所述道路图片在通道维度上进行拼接， 获得通道合并后的 所述道路特 征图。 5.根据权利要求1所述的融合传统特征提取与深度神经网络的车道线检测方法， 其特 征在于， 所述深度神经网络模型包括特征提取网络模块和关键点预测网络模块， 所述特征 提取网络模块用于对所述道路特征图中车道线不同尺寸的特征进 行学习； 所述关键点预测 网络模块用于接收来自所述特征提取网络模块的车道线特征， 输出每条车道线中各关键点 的位置坐标。 6.根据权利要求5所述的融合传统特征提取与深度神经网络的车道线检测方法， 其特 征在于， S3中， 对所述道路特征图进行特征提取包括： 对所述道路特征图进行图像变换， 调 整图像并将所述道路特征图转化为张量以及归一化处理， 获取变换后的道路特征图； 将所 述图像变换后的道路特 征图输入所述特 征提取网络模块， 获取不同尺度的车道线特 征。 7.根据权利要求6所述的融合传统特征提取与深度神经网络的车道线检测方法， 其特 征在于， 所述特征提取网络模块由去掉全连接层后的ResNet50网络组成， 使用卷积层替代 所述ResNet50网络中的下采样模块， 并通过逆瓶颈架构替换所述ResNet50网络残差块的瓶 颈架构， 用于减少残差块中由于维度压缩带来的信息损失。 8.根据权利要求7所述的融合传统特征提取与深度神经网络的车道线检测方法， 其特 征在于， 对所述道路特 征图进行关键点预测包括：权　利　要　求　书 1/2 页 2 CN 115376082 A 2将所述特征提取网络模块学习到的所述车道线特征输入所述关键点预测网络模块中， 利用所述关键点预测网络模块中的两个全连接层预测出在 网格单元中各车道线关键点的 坐标； 将网格单元宽度神经网络与网格单元深度神经网络所得预测坐标相乘， 计算出车道 线点在所述输入道路图片中的坐标， 输出 车道线位置的预测图。 9.根据权利要求8所述的融合传统特征提取与深度神经网络的车道线检测方法， 其特 征在于， 所述网格单 元为预先设置在所述关键点预测网络模块中的网格单 元。 10.根据权利要求8所述的融合传统特征提取与深度神经网络的车道线检测方法， 其特 征在于， 预测出在所述网格单 元中各车道线的位置包括： 通过所有网格单元中每条车道线预测概率Pi,j最大处以及所述网格单元的索引k， 得到 车道线的位置， 基于softmax函数得到不同网格单元处的预测概率Probi,j,:， 然后求出所述k 的期望， 即为车道线的在网格单 元中的预测位置： Probi,j,:＝softmax(P,j,1:w) 其中， Pi,j,1:w为第i个车道线在第j行的预测 概率分布， Probi,j,k为第j行第k列存在第i 个车道线的预测概 率， Loci,j为第j行第i个车道线的位置， w 为预先设置好的网格单 元列数。权　利　要　求　书 2/2 页 3 CN 115376082 A 3