(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221040769 2.6 (22)申请日 2022.04.19 (71)申请人 山东轻智信息科技有限公司 地址 250000 山东省济南市舜华路20 00号 舜泰广场7号楼6层南侧三间 (72)发明人 盛晓飞　赛吉尔呼 　 (51)Int.Cl. H04N 5/232(2006.01) H04N 5/247(2006.01) G06T 3/40(2006.01) (54)发明名称 一种防眩晕感的第三人称环视视角回传视 频显示方法 (57)摘要 本发明公开了一种防眩晕感的第三人称环 视视角回传视频显示方法， 包含以下几个步骤： S1， 在头盔等前端载体上安装四个广角摄像头， 其中每个广角摄像头采用水平视场角大于90度 且实时图像采集帧率大于30FPS的广角摄像头； S2， 对摄像头的安装位置、 视场方向和俯仰角度 进行矫正， S3， 实时采集摄像头， 确保四个摄像头 的实时视频画面保持同步； S4， 对实时采集的摄 像头同步视频、 图像数据采用张正友标定法进行 矫正。 本发明运用全景图像拼接， 实现环视图像 的实时回传， 同时运用9轴加速度数据融合技术， 动态调整回传视场视场中心 基准点位置， 通过回 传视场中心基准点的偏移进一步动态调节回传 视场的区域， 已达 到防晕眩的作用。 权利要求书2页 说明书5页 附图3页 CN 114615436 A 2022.06.10 CN 114615436 A 1.一种防眩晕感的第三人称环视视角回传视频显示方法， 其特征在于， 包含以下几个 步骤： S1， 在头盔等前端载体上安装四个广角摄像头， 其中每个广角摄像头采用水平视场角 大于90度且实时图像采集帧率大于 30FPS的广角摄 像头； S2， 对摄像头的安装位置、 视场方向和俯仰角度进行矫 正， 具体方法为： S2.1， 摄像头安装在目视正前方、 正后方、 正左方、 正右方， 保证每两个相邻摄像头呈90 度夹角安装； S2.2， 校准摄 像头视场， 使得四个 摄像头的视场中心位于同一平面上； S2.3， 在靠近每一个摄像的上方， 安装一个9轴传感器， 共4个9轴传感器， 实时测量每一 个摄像头的加速度信息， 姿态信息和地磁方位信息； S3， 实时采集摄 像头， 确保四个 摄像头的实时视频画面保持同步； S4， 对实时采集的摄 像头同步视频、 图像数据采用张正友标定法进行矫 正； S5， 对S4中畸变矫正后的图像进行相邻两幅图像间的重叠计算， 找到每两幅相邻图像 间的重叠区域， 在此基础上， 在重叠区域计算、 选取出一定数量的匹配角点， 选取的原则遵 循均匀分布 原则； S6， 根据S5种计算的重叠区域以及均匀分布的角点， 将四幅图像拼接成一幅环视图像， 拼接依据是在S5中获取的经 过计算的重 叠度和检测、 匹配且均匀分布的特 征点； S7， 在S6拼接得到的环视图像中， 选取上增稳带， 下增稳带以及回传视场， 其中上增稳 视场带靠近原始 拼接视场的上边沿， 高度占原始 拼接环形视场高度的5％， 下增稳视场带靠 近下边沿， 高度占原 始拼接环形视场高度的5％； S8， 在实际使用过程中， 实时获取四个9轴传感器的加速度信息和姿态角信息， 结算出 相对于视场中心基准点的偏离角度和偏离角速度， 推算出在视场X轴与Y轴上 的偏移， 即当 前四个摄像头各自的姿态信息和方位信息， 并预测下一时刻的偏移位置； S9， 根据当前时刻与下一时刻， 计算出新的基准 点相较于原视场中心基准 点的偏移； S10， 根据当前时刻与下一时刻计算的中心基准点的偏移， 动态调整上下增稳视场带的 占比， 确定新的回传视场； S11， 将新的回传视场展开成二维图像， 编码， 回传； S12， 接收端接收到实时回传视频数据， 解码， 并在环形拼接屏或VR眼镜中向第三视角 观察者播放。 2.根据权利要求1所述的一种防眩晕感的第三人称环视视角回传视频显示方法， 其特 征在于， 所述S1 中， 选取水平视场角120度至150度的广角摄像头， 垂直视场角也选取大于90 度广角摄像头， 广角摄 像头的实时采集图像帧率 为60FPS， 用于实现更好的拼接 。 3.根据权利要求2所述的一种防眩晕感的第三人称环视视角回传视频显示方法， 其特 征在于， 所述S2.2中， 采用铅垂仪， 保证头盔等前端载体的水平与垂直， 利用激光水平仪来 调整广角摄 像头的视场中心位置， 保证4个广角摄 像头的视场处于同一水平面。 4.根据权利要求3所述的一种防眩晕感的第三人称环视视角回传视频显示方法， 其特 征在于， 所述S 3中， 四个广角摄像头中， 每两个广角摄像头同一时刻同一帧图像的延迟差不 大于5ms。 5.根据权利要求4所述的一种防眩晕感的第三人称环视视角回传视频显示方法， 其特权　利　要　求　书 1/2 页 2 CN 114615436 A 2征在于， 所述S 5中， 通过如下三种方法对两两摄像头之间进 行重叠度计算， 最后 将下述三种 方法测定的重合度做 平均， 得到 两两视场之间可靠的重 叠度测量结果： (1)视场角计算法， 通过一直视场角进行重叠度的估算， 如选取120度视场角摄像头， 在 遵照S2步骤的安装和视场校准的前提下， 两两摄像头的重叠视场应该在15度左右， 重叠度 占比约在12.5％左右； (2)实物标定法， 在遵照S2步骤的安装和视场校准的前提下， 通过在相邻两个摄像头视 角重叠方位放置标定模板， 观察相邻两个 摄像头视场中的模板， 估算占比面积； (3)角点检测法， 参考(2)实物标定法中， 通过Shi ‑Tomasi焦点检测法检测相邻两个视 场的所拍摄图片中的角点， 并利用SIFT 进行角点匹配， 以推算重 叠度。 6.根据权利要求5所述的一种防眩晕感的第三人称环视视角回传视频显示方法， 其特 征在于， 所述S8中， 实时获取安装在摄像头上方的9轴传感器数据， 融合加速度信息和姿态 角信息解算出当前四个摄像头各自的姿态信息和方位信息， 通过记录多个时刻的姿态参数 信息， 设计一个多层神经网络， 用来预测下一时刻的偏移位置， 并提前进行相应的视场调 整。 7.根据权利要求6所述的一种防眩晕感的第三人称环视视角回传视频显示方法， 其特 征在于， 所述S9中， 根据S8中获取的当前姿态和预测信息， 计算视场中心基准点水平偏移Δ h和垂直偏移Δv。 8.根据权利要求7所述的一种防眩晕感的第三人称环视视角回传视频显示方法， 其特 征在于， 所述S10中， 根据S9种计算得到的视场中心基准点水平偏移Δh和垂直偏移Δv， 调 整上下增稳带的占比， 调整编码基准中心点。 9.根据权利要求8所述的一种防眩晕感的第三人称环视视角回传视频显示方法， 其特 征在于， 所述S10中， 根据S10中调整后的增稳带和回传视场， 以及视场中心基准点， 将环形 图像展开成二维图像视场， 进行编码， 并将编码后的视频流数据回传至远程接收端。 10.根据权利要求9所述的一种防眩晕感的第三人称环视视角回传视频显示方法， 其特 征在于， 所述S11中， 接收端接收到以后可使用环形拼接屏或VR眼镜， 解码、 播放， 满足第三 人称视角的实时预览。权　利　要　求　书 2/2 页 3 CN 114615436 A 3