(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211082826.8 (22)申请日 2022.09.06 (71)申请人 中诚华隆计算机技 术有限公司 地址 100012 北京市朝阳区来广营乡紫月 路18号院3号楼8层 (72)发明人 王嘉诚　张少仲　张栩　 (74)专利代理 机构 北京智燃律师事务所 1 1864 专利代理师 柴琳琳 (51)Int.Cl. G06V 20/58(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 20/56(2022.01) G01C 21/28(2006.01) (54)发明名称 基于多传感器数据融合的自动驾驶决策方 法及SoC芯片 (57)摘要 本发明公开了基于多传感器数据融合的自 动驾驶决策方法及SoC芯片， 属于机器学习和自 动驾驶技术领域， 该方法包括， 图像传感器采集 道路的图像数据， 将图像数据输入训练好的图像 目标检测神经网络模型， 进行车道图像目标检 测， 输出车道图像的目标检测数据； 激光雷达采 集3D点云数据， 将点云数据输入训练好的点 云目 标检测神经网络模型， 进行障碍物目标检测， 与 双目摄像头输出的障碍物信息进行融合， 生成障 碍物位置与距离数据； 将车道图像数据障碍物位 置距离数据进行数据融合， 校正车辆行驶的路况 信息， 作为自动驾驶决策的依据。 本发明的方案 可充分满足自动驾驶场景下实时性的要求， 同时 对不同传感器数据融合， 使 得对路况分析的准确 性大大提高。 权利要求书2页 说明书6页 附图2页 CN 115187964 A 2022.10.14 CN 115187964 A 1.基于多传感器数据融合的自动驾驶决策 方法， 其特 征在于， 包括以下步骤： S1： RGB图像传感器采集车辆行驶道路的图像数据， 所述 图像数据包括车道线数据、 车 辆数据、 行 人数据以及交通标志数据； S2： 将所述车道线数据、 车辆数据、 行人数据以及交通标志数据输入训练好的图像目标 检测神经网络模型， 进 行车道图像特征提取与特征融合， 输出车道图像的目标检测数据， 所 述图像目标检测 神经网络模型采用YOLOv7目标检测算法； S3： 激光雷达采集3D点云数据， 将所述点云数据输入训练好的点云目标检测神经网络 模型， 进行距离特征提取与特征融合， 输出目标位置与距离数据， 与双目摄像头输出的目标 位置与距离信息进行融合， 生成最终的障碍物位置与距离数据， 所述神经网络模型采用 PointPillar目标检测算法； S4： 将所述步骤S2生成的车道图像数据与步骤S3生成的障碍物位置距离数据进行数据 融合， 分析 各传感器是否存在误差， 校正车辆行驶的路况信息； S5： 根据步骤S4校正的路况信息， 作出相应的决策应用于自动驾驶中。 2.根据权利要求1所述的基于多传感器数据融合的自动驾驶决策方法， 其特征在于， 所 述步骤S2中图像目标检测 神经模型的训练过程具体包括以下步骤： S2‑1： 建立车道、 行 人及交通标志数据集， 所述数据集用于神经网络模型的训练； S2‑2： 将所述车道、 行人及交通标志数据集进行预处理， 生成设定分辨率的RGB格式图 像； S2‑3： 将所述格式图像依序通过YOLOv7网络的图像特征提取层、 图像特征融合层以及 图像目标检测层， 得到神经网络模型； S2‑4： 检查训练次数是否达到设定目标， 若未达到设定目标， 则重复所述步骤S2 ‑3， 直 至达到设定的训练次数， 保存该神经网络模型， 作为图像目标检测 神经网络模型。 3.根据权利要求1所述的基于多传感器数据融合的自动驾驶决策方法， 其特征在于， 所 述步骤S3中点云目标检测 神经模型的训练过程具体包括以下步骤： S3‑1： 建立激光雷达数据集， 所述数据集用于点云目标检测 神经模型的训练； S3‑2： 将所述激光雷达数据集进行 预处理， 生成格式点云数据； S3‑3： 将所述格式点云数据依序经过PointPillar网络的特征转换层、 特征提取层以及 目标检测层， 得到神经网络模型； S3‑4： 检查训练次数是否达到设定目标， 若未达到设定目标， 则重复所述步骤S3 ‑3， 直 至达到设定的训练次数， 保存该神经网络模型， 作为 点云目标检测 神经网络模型。 4.根据权利要求1所述的基于多传感器数据融合的自动驾驶决策方法， 其特征在于， 所 述步骤S4的数据融合， 采用决策层融合方式， 将经过 处理的图像数据和雷达数据进 行匹配， 将雷达数据生成的障碍物位置与距离检测结果， 映射到图像数据的坐标， 形成 综合特征图。 5.根据权利要求1所述的基于多传感器数据融合的自动驾驶决策方法， 其特征在于， 所 述YOLOv7网络模型包括图像输入层、 图像特征提取层、 图像特征融合层以及图像目标检测 层； 所述图像输入层 对输入的图像进 行对齐； 所述图像特征提取层 进一步包括若干卷积层、 批量归一化层以及最大池化层， 用于丰富对齐图像的特征， 提取出车道、 车辆以及行人特 征； 所述图像特征融合层用于将不同阶段提取的特征进 行融合， 提高特征的准确率； 所述图 像目标检测层对融合后的特 征图进行路况信息特 征的检测， 输出图像 检测结果。权　利　要　求　书 1/2 页 2 CN 115187964 A 26.根据权利要求1所述的基于多传感器数据融合的自动驾驶决策方法， 其特征在于， 所 述PointPillar网络模 型包括点云特征转换层、 点云特征提取层以及点云目标检测层； 点云 特征转换层将输入的点云转换为稀疏的伪图像； 点云特征提取层处理伪图像得到高层的特 征； 点云目标检测层通过回归3D框检测目标的位置和距离 。 7.根据权利要求1所述的基于多传感器数据融合的自动驾驶决策方法， 其特征在于， 所 述交通标志数据的检测方法采用改进的轻量级 卷积神经网络， 所述轻量级 卷积神经网络使 用膨胀卷积实现滑动窗口方法， 使用数据集中的统计信息来加快网络前向传播的速度， 以 提高交通标志检测的效率。 8.根据权利要求6所述的基于多传感器数据融合的自动驾驶决策方法， 其特征在于， 输 入Pillar特征层的点云数据格式为P ×N×D， 其中P为选取的Pillar数量， N为每个Pillar存 储的最大点云数量， D为 点云的维度属性。 9.根据权利要求8所述的基于多传感器数据融合的自动驾驶决策方法， 其特征在于， 所 述点云的维度属性 为9维数据， 表征为： 其中 为原始的激光雷达点云数据， 表示三维坐标数据， 表示激光的反射 强度， 表示Pillar 中该激光点云相对N个点云中心的偏移量， 表示该激光点云 相对Pillar坐标的偏移量。 10.一种基于多传感器数据融合的自动驾驶决策SoC芯片， 其特征在于， 所述SoC芯片包 括通用处理器以及神经网络处理器； 所述通用处理器通过自定义指令控制神经网络处理器 的运行， 所述神经网络处 理器用于执 行权利要求1 ‑9任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115187964 A 3