(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111528362.4 (22)申请日 2021.12.14 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 田炜　韩帅　王松涛　邓振文　 黄禹尧　周斯泓　谭大艺　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 代理人 彭瑶 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06Q 10/04(2012.01) G06F 17/11(2006.01) G06Q 50/30(2012.01) (54)发明名称 一种多模态车辆 轨迹预测方法 (57)摘要 本发明提供一种多模态车辆轨迹预测方法， 包括以下步骤： 分别获取预测车辆和周围车辆在 世界坐标系下的历史运动轨迹， 处理为在候选车 道中心线坐标系下的历史运动轨迹并进行编码 获取历史轨迹特征向量， 同时获取当前时刻预测 车辆与周围车辆的交互关系特征向量、 意图模态 编码和运动模态编码； 将意图模态编码、 运动模 态编码、 预测车辆的历史轨迹特征向量以及当前 时刻预测车辆与周围车辆的交互关系特征向量 进行拼接输入LS TM解码器， 输出预测车辆的多条 预测轨迹以及对应的置信度标签， 置信度最高的 预测轨迹为最佳轨迹。 与现有技术相比， 该方法 无需标注数据集和采样过程， 全面描述车辆运动 的预测轨迹分布并可进行长时预测； 且具有较强 的场景泛化能力。 权利要求书3页 说明书7页 附图3页 CN 114372570 A 2022.04.19 CN 114372570 A 1.一种多模态车辆 轨迹预测方法， 其特 征在于， 包括以下步骤： S1： 基于道路地图分别获取预测车辆和周围多个车辆在世界坐标系下的历史运动轨 迹， 并分别处 理为预测车辆和各周围车辆在候选车道中心线坐标系下的历史运动轨 迹； S2： 分别对所述预测车辆和各周围车辆在候选车道中心线坐标系下的历史运动轨迹进 行编码， 获取预测车辆的历史轨迹特征向量和各周围车辆的历史轨迹特征向量， 并根据所 述预测车辆的历史轨迹特征向量和各周围车辆的历史轨迹特征向量获取当前时刻预测车 辆与周围车辆的交 互关系特 征向量； S3： 对所述候选车道中心线进行采样， 获取预测车辆的历史轨迹特征向量对应的意图 模态编码， 采用独热编码获取 预测车辆在不同速度下的运动模态编码； S4： 将意图模态编码、 运动模态编码、 预测车辆的历史轨迹特征向量以及当前时刻预测 车辆与周围车辆的交互关系特征向量进 行拼接作为LSTM解码 器的输入， LSTM解码 器解码输 出预测车辆的多 条预测轨迹以及对应的置信度标签， 并通过训练神经网络选取一条与轨迹 真值最匹配的预测轨 迹。 2.根据权利要求1所述的一种 多模态车辆轨迹预测方法， 其特征在于， 所述S1包括以下 步骤： S1.1： 基于道路地图获取 预测车辆和周围多个车辆在世界坐标系下的历史运动轨 迹； S1.2： 根据曼哈顿距离采用 广度优先的方式获取预测车辆的候选车道中心线， 并将预 测车辆和各周围车辆在世界坐标系下的历史运动轨迹中的各轨迹点投影至候选车道中心 线上， 在候选车道中心线上分别找出距离每 个轨迹点最近的点作为匹配点； S1.3： 根据所述候选车道中心线和所述匹配点建立候选车道中心线坐标系， 并获取在 候选车道中心线坐标系下的各轨迹点坐标， 进而获取预测车辆和各周围车辆在候选车道中 心线坐标系下的历史运动轨 迹。 3.根据权利要求2所述的一种 多模态车辆轨迹预测方法， 其特征在于， 所述候选车道中 心线坐标系具体为： 以沿候选车道中心线 方向为y轴， 以垂 直于候选车道中心线方向为x轴， 以当前时刻预测车辆的轨 迹点在候选车道中心线上对应的匹配点 为坐标原点。 4.根据权利要求3所述的一种 多模态车辆轨迹预测方法， 其特征在于， 所述候选车道中 心线坐标系 下的各轨迹点坐标为： x的数值为轨迹点与匹配点之间的距离， x轴的正方向为 候选车道中心线前进方向的右侧； y的数值为轨迹点对应的匹配点与坐标原点沿着候选车 道中心线的距离， y轴的正方向为沿着候选车道中心线前进的方向。 5.根据权利要求1所述的一种 多模态车辆轨迹预测方法， 其特征在于， 所述S2包括以下 步骤： S2.1： 分别对预测车辆和各周围车辆在候选车道中心线坐标系下的历史运动轨迹进行 编码， 获取 预测车辆的历史轨 迹特征向量和各周围车辆的历史轨 迹特征向量； S2.2： 对各周围车辆的历史轨迹特征向量进行整合获取周围车辆的历史轨迹特征向 量， 通过交互模型， 并根据所述预测车辆的历史轨迹特征向量和所述周围车辆的历史轨迹 特征向量获取当前时刻预测车辆与周围车辆的交 互关系特 征向量。 6.根据权利要求5所述的一种 多模态车辆轨迹预测方法， 其特征在于， 对每一 时刻的历 史轨迹进行编码获取当前时刻的历史轨 迹特征向量的公式为：权　利　要　求　书 1/3 页 2 CN 114372570 A 2式中， φe(·)为全连接层， 用于初步提取历史轨迹特征， W1为其对应参数， St为历史轨 迹在t时刻的位置坐标信息； LSTMe(·)为LSTM编码器， W2为其对应参数； 为LSTM  encoder‑decoder基准车辆轨迹预测网络中LSTM编码器的输入， 即当前时刻的历 史运动轨 迹特征向量； 和 分别为t时刻LSTM编码 器中的隐藏状态和记忆细胞状态， 和 分别为t‑1时刻LSTM编码器中的隐藏状态和记 忆细胞状态。 7.根据权利要求5所述的一种 多模态车辆轨迹预测方法， 其特征在于， 计算交互模型的 公式具体为： 式中， φr为交互模型， Wr为其对应参 数， 为交互模型输入的预测， robs为当前时刻预 测车辆与周围车辆的交 互关系特 征向量。 8.根据权利要求2所述的一种 多模态车辆轨迹预测方法， 其特征在于， 获取意图模态编 码的过程具体为： 在候选车道中心线 上以当前时刻预测车辆在候选车道中心线上的匹配点 为起点， 按照固定长度间隔采样， 将所有采样点相对起点的坐标构成向量， 将所述向量通过 多层感知器获取意图模态编码。 9.根据权利要求8所述的一种 多模态车辆轨迹预测方法， 其特征在于， 所述LSTM解码器 的输入为： 式中， ψline(M)为候选车道中心线的集合； vline为从具体的候选车道中心线上采样n个点 构成的向量； MLP为多层感知器， WMLP为其对应参数； τline为预测车辆的历史运动轨迹特征向 量对应的意图模态编码， 为所有时刻预测车辆的历史运动轨迹特征向量， robs为当前时刻 预测车辆与周围车辆的交互关系特征向量， ψm(N)为N个独热编码的集合， τm为预测车辆的运 动模态编码， 为LSTM解码器的输入特 征向量。 10.根据权利要求2所述的一种多模态车辆轨迹预测方法， 其特征在于， 通过仲裁方法 从所有输出的预测车辆的预测轨迹中选取一条与轨迹真值最匹配的预测轨迹， 所述仲裁方 法具体为： 在确定意图模态时， 根据预测车辆未来的轨迹真值与候选车道中心线距离在曼哈顿阈 值范围内的点的数量从多到少将所有候选车道中心线进行排序， 选择在阈值范围内的轨迹 真值点数量最多的候选车道中心线作为当前 的意图模态； 在确定运动模态时， 在当前 的意权　利　要　求　书 2/3 页 3 CN 114372570 A 3