(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210235584.5 (22)申请日 2022.03.11 (71)申请人 航宇救生装备有限公司 地址 441299 湖北省襄阳市高新区新 华路 104号 申请人 西安六韬信息科技有限公司 (72)发明人 陈联云　王国伟　钱小满　王局豪　 马小龙　 (74)专利代理 机构 西安泛想力专利代理事务所 (普通合伙) 6126 0 专利代理师 张梅娟 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/50(2006.01) G06V 20/40(2022.01)G06V 20/56(2022.01) G06F 3/01(2006.01) H04N 5/232(2006.01) H04N 5/265(2006.01) (54)发明名称 一种载具全景显示系统及方法 (57)摘要 本发明公开了一种载具全景显示系统及方 法， 属于载具监控技术领域。 所述系统包括： 图像 采集设备阵列， 用于采集载具周边全 景的多个图 像数据； 视频控制器， 用于接收来自所述图像采 集设备阵列的多个图像数据， 并实时拼接出载具 周边的360 °全景视频， 全景显示器， 用于接收并 显示来自所述视频控制器的360 °全景视频。 在本 发明中， 通过图像采集设备阵列采集载具周边全 景的多个图像数据， 通过视频控制器将多个图像 数据拼接出360 °全景视频， 最后通过全景显示器 进行显示， 从而可 以让驾驶员驾驶无死角、 全方 位的观察周围的情况， 又可以掌握载具驾驶舱内 的各种情况， 可以提高驾驶员的安全性与可靠 性。 权利要求书2页 说明书5页 附图1页 CN 114612303 A 2022.06.10 CN 114612303 A 1.一种载 具全景显示系统， 其特 征在于， 所述系统包括： 图像采集设备阵列， 用于采集载 具周边全景的多个图像数据； 视频控制器， 用于接收来自所述图像采集设备阵列的多个图像数据， 并实时拼接出载 具周边的3 60°全景视频， 全景显示器， 用于 接收并显示 来自所述视频控制器的3 60°全景视频。 2.根据权利要求1所述的一种载 具全景显示系统， 其特 征在于， 所述系统还 包括： 视频采集预处理器， 用于接收来自所述图像采集设备阵列的多个图像数据， 将多个图 像转换为同一 坐标， 并将处 理好的图像数据传输 至所述视频控制器。 3.根据权利要求2所述的一种载 具全景显示系统， 其特 征在于， 所述视频控制器包括： 视频拼接模块， 用于接收处理好的多个图像数据， 并将处理好的多个图像数据拼接成 360°全景视频； 视频融合模块， 用于将拼接好的3 60°全景视频进行融合处 理， 使得过渡变的自然； 视频编码模块， 用于将融合处 理后的360°全景视频进行压缩； 视频解码模块， 用于将压缩的360 °全景视频进行解压缩并还原成相应的视频输出格 式； 视频输出模块： 用于将解压缩的3 60°全景视频传输 至全景显示器。 4.根据权利要求3所述的一种载具全景显示系统， 其特征在于， 所述视频控制器还包 括： 目标识别与追踪模块， 用于检测和判断融合处理后的360 °全景视频中的移动目标， 并 进行标识和目标跟踪。 5.根据权利要求4所述的一种载具全景显示系统， 其特征在于， 所述全景显示器为双目 AR头盔显示器。 6.根据权利要求3所述的一种载具全景显示系统， 其特征在于， 所述系统还包括： 光惯 融合姿态定位装置， 所述光惯融合姿态定位装置包括： 在载具顶部构建的若干标记点， 以及安装在所述全 景显示器上的单目摄 像头和九轴传感器， 所述单目摄像头用于采集若干标记点的光学数据， 所述九轴传感器用于采集头部定位 数据； 所述视频控制器还包括： 光惯融合数据处理模块， 用于接收和融合若干标记点的光学 数据和头部定位数据， 得到头部姿态的六自由度数据， 并将所述六自由度数据输发送至视 频融合模块。 7.一种载 具全景显示方法， 其特 征在于， 所述方法包括： 采集载具周边全景的多个图像数据， 将多个图像数据拼接， 得到 360°全景视频， 显示所述3 60°全景视频。 8.根据权利要求7所述的一种载具全景显示方法， 其特征在于， 所述将多个图像数据拼 接之前， 还 包括： 对多个所述图像数据的每帧图像的参数进行同一化处理， 然后对每帧图像进行特征点 提取， 得到了多个待拼接图像的匹配点集， 使用findHomograph y函数来求得变换矩阵， 将多权　利　要　求　书 1/2 页 2 CN 114612303 A 2个待拼接图像转换为同一 坐标。 9.根据权利要求7所述的一种载具全景显示方法， 其特征在于， 所述将多个图像数据拼 接具体包括： 将处理好的多个图像数据拼接成3 60°全景视频， 对所述360°全景视频进行融合处 理， 使得视频中交接的两幅图像过度自然； 对融合处理后的所述360 °全景视频中的移动目标检测和判断， 并进行标识和目标跟 踪， 然后传输 至全景显示器； 所述融合处 理包括： 将前一副图像和后 一幅图像的重叠区域的像素按一定的权值相加合成新的图像， 对每 帧交接图像进行去裂缝处 理， 使得过渡变的自然， 所述多个图像数据拼接过程还 包括： 在传输至全景显示器前， 对所述融合处理后的所述360 °全景视频的原始数据压缩为视 频流， 将所述视频流 解压缩、 还原为符合显示要求的视频输出格式， 并传输 至全景显示器。 10.根据权利要求9所述的一种载 具全景显示方法， 其特 征在于， 所述方法还 包括： 在载具顶部构建若干标记点， 通过 单目摄像头采集若干标记点的光学 数据， 通过九轴传感器采集驾驶员头 部定位数据， 将若干标记点的光学数据和头部定位数据进行数据融合， 得到头部姿态的六自由度 数 据， 将所述六自由度数据传输至融合处理后的360 °全景视频中， 通过所述九轴传感器估计 的位姿序列和所述单目摄像头估计的位姿序列对齐可以估计出相机轨迹的真实尺度， 所述 九轴传感器预测出图像帧的位姿以及上一时刻特征点在下帧图像的位置， 提高特征跟踪算 法匹配速度和应对快速旋转的算法鲁棒性， 最后所述九轴传感器中加速度计提供的重力向 量将估计的位置转为 实际导航需要的世界坐标系中， 从而通过头部的转动驱动实时360 °全 景视频的视角方向。权　利　要　求　书 2/2 页 3 CN 114612303 A 3