(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111658995.7 (22)申请日 2021.12.31 (71)申请人 展讯通信 （上海） 有限公司 地址 201203 上海市浦东 新区自由贸易试 验区祖冲之 路2288弄展讯中心1号楼 (72)发明人 牛孝通　 (74)专利代理 机构 北京汇思诚业知识产权代理 有限公司 1 1444 代理人 罗艳 (51)Int.Cl. G08G 1/14(2006.01) H04N 13/128(2018.01) H04N 13/327(2018.01) B60R 1/26(2022.01) G06T 5/00(2006.01)G06T 7/593(2017.01) G06T 7/80(2017.01) (54)发明名称 泊车影像生成方法、 终端设备、 介质及泊车 系统 (57)摘要 本申请实施例提出了一种泊车影像生成方 法、 终端设备、 介质及泊车系统， 其中， 上述生成 方法中， 接收上传的视频影像； 获取对所述视频 影像的每一帧图像， 获取所述图像中的深度图， 基于所述深度图检测所述图像中的障碍物及所 述障碍物的距离信息； 将所述障碍物及所述障碍 物的距离信息与所述图像组合， 得到组合图像 帧； 将每一组合图像帧组合， 生成第一目标视频。 所生成的目标视频既显示了泊车的画面， 又展示 了泊车过程中障碍物及障碍物的距离， 通过目标 视频用户可以清楚的知晓距离周围的障碍物的 距离， 又能实现对泊车环境的实时观察， 无需人 工进行距离或者周围环境的推断， 进而提高用户 体验， 增强泊车的安全性。 权利要求书3页 说明书12页 附图4页 CN 114399919 A 2022.04.26 CN 114399919 A 1.一种泊车影 像生成方法， 其特 征在于， 所述方法包括： 接收上传的视频影 像； 对所述视频影像的每一帧图像， 获取所述图像中的深度图， 基于所述深度图检测所述 图像中的障碍物及所述障碍物的距离信息； 将所述障碍物及所述障碍物的距离信息与所述图像组合， 得到组合图像帧； 将每一组合图像帧组合， 生成第一目标视频。 2.根据权利要求1所述的方法， 其特征在于， 所述视频影像至少包括第 一视频影像和第 二视频影像， 所述第一视频影像和第二视频影像是从不同角度拍摄的同一场景的视频影 像， 所述对所述视频影像的每一帧图像， 获取所述图像中的深度图， 基于所述深度图检测所 述图像中的障碍物及所述障碍物的距离信息， 包括： 对每一个图像帧对， 生成所述图像帧对的深度图， 图像帧对指所述第一视频影像和所 述第二视频影 像在同一时刻的第一图像帧和第二图像帧； 基于所述深度图检测所述图像帧对中的障碍物及所述障碍物的距离信息 。 3.根据权利要求2所述的方法， 其特征在于， 所述将所述障碍物及所述障碍物的距离信 息与所述图像组合， 得到组合图像帧， 包括： 将所述障碍物及所述障碍物的距离信息与所述第一图像帧和/或所述第二图像帧组 合， 得到第一组合图像帧和/或第二组合图像帧； 所述将每一组合图像帧组合， 生成第一目标视频， 包括： 将每一第一组合图像帧或者将每一第二组合图像帧组合， 生成第一目标视频， 或， 将每一第一组合图像帧组合， 生成第一目标视频的第一子 视频， 将每一第二组合图像帧组合， 生成第一目标视频的第二子 视频。 4.根据权利要求3所述的方法， 其特 征在于， 所述 生成所述图像帧对的深度图， 包括： 对所述第一图像帧和所述第 二图像帧进行预处理， 获得第 一预处理图像和第 二预处理 图像； 利用所述第 一视频影像的摄像机的标定参数对所述第 一预处理图像进行畸变校正， 得 到第一畸变校正图像； 利用所述第 二视频影像的摄像机的标定参数对所述第 二预处理图像进行畸变校正， 得 到第二畸变校正图像； 对所述第一畸变校正图像和所述第二畸变校正图像进行立体校正， 获得匹配图像对， 所述匹配图像对中的图像都处于同一水平线上； 对所述匹配图像对进行立体匹配， 得到所述图像帧对的视 差图； 依据所述视 差图计算得到深度图。 5.根据权利要求4所述的方法， 其特征在于， 所述预处理至少包括以下一者： 尺度变换、 灰度变换、 滤波变换。 6.根据权利要求1所述的方法， 其特 征在于， 所述方法， 还 包括： 依据所述障碍物及所述障碍物的距离信息生成语音播报信息； 将所述视频影 像与所述语音播报信息结合， 生成第二目标视频。 7.一种泊车系统， 其特 征在于， 设置在车辆中， 所述系统包括： 接收模块， 用于 接收上传的视频影 像；权　利　要　求　书 1/3 页 2 CN 114399919 A 2检测模块， 用于对所述视频影像的每一帧图像， 获取所述图像中的深度图， 基于所述深 度图检测所述图像中的障碍物及所述障碍物的距离信息； 组合模块， 用于将所述障碍物及所述障碍物的距离信息与所述图像组合， 得到组合图 像帧； 目标视频生成模块， 用于将每一组合图像帧组合， 生成第一目标视频。 8.根据权利要求7所述的系统， 其特征在于， 所述视频影像至少包括第 一视频影像和第 二视频影像， 所述第一视频影像和第二视频影像是从不同角度拍摄的同一场景的视频影 像， 所述检测模块， 包括： 深度图生成子模块， 用于对每一个图像帧对， 生成所述图像帧对的深度图， 图像帧对指 所述第一视频影 像和所述第二视频影 像在同一时刻的第一图像帧和第二图像帧； 检测子模块， 用于基于所述深度图检测所述图像帧对中的障碍物及所述障碍物的距离 信息。 9.根据权利要求8所述的系统， 其特征在于， 所述组合模块， 具体用于将所述障碍物及 所述障碍物的距离信息与所述第一图像 帧和/或所述第二图像 帧组合， 得到第一组合图像 帧和/或第二组合图像帧； 所述目标视频生成模块， 具体用于将每一第 一组合图像帧或者将每一第 二组合图像帧 组合， 生成第一目标视频， 或， 将每一第一组合图像帧组合， 生成第一 目标视频的第一子视 频， 将每一第二组合图像帧组合， 生成第一目标视频的第二子 视频。 10.根据权利要求8所述的系统， 其特 征在于， 所述深度图生成子模块， 还 包括： 预处理模块， 用于对所述第一图像帧和所述第二图像帧进行预处理， 获得第一预处理 图像和第二预处 理图像； 畸变校正模块， 用于利用所述第 一视频影像的摄像机的标定参数对所述第 一预处理图 像进行畸变校正， 得到第一畸变校正图像， 及还用于利用所述第二视频影像的摄像机的标 定参数对所述第二预处 理图像进行畸变校正， 得到第二畸变校正图像； 立体校正模块， 用于对所述第一畸变校正图像和所述第二畸变校正图像进行立体校 正， 获得匹配图像对， 所述匹配图像对中的图像都处于同一水平线上； 立体匹配模块， 用于对所述匹配图像对进行立体匹配， 得到所述图像帧对的视 差图； 深度图计算模块， 用于依据所述视 差图计算得到深度图。 11.根据权利要求10所述的系统， 其特 征在于， 所述预处 理至少包括以下一 者： 尺度变换、 灰度变换、 滤波变换。 12.根据权利要求7 所述的系统， 其特 征在于， 还 包括： 语音播报信 息生成模块， 用于依据 所述障碍物及所述障碍物的距离信 息生成语音播报 信息； 结合模块， 用于将所述视频影 像与所述语音播报信息结合， 生成第二目标视频。 13.一种终端设备， 包括： 至少一个处 理器； 以及 与所述处 理器通信连接的至少一个存 储器， 其中： 所述存储器存储有可被所述处理器执行的程序指令， 所述处理器调用所述程序指令能 够执行如权利要求1至 6任一所述的方法。权　利　要　求　书 2/3 页 3 CN 114399919 A 3