(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210283908.2 (22)申请日 2022.03.21 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 钱李勇　黄海光　叶奇　邓志吉　 刘明　姜哲华　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 刘桂兰 (51)Int.Cl. H04N 13/243(2018.01) H04N 13/332(2018.01) H04N 13/122(2018.01) H04N 13/161(2018.01)H04N 5/247(2006.01) H04N 5/232(2006.01) (54)发明名称 一种虚拟现实显示方法、 设备、 系统和可读 存储介质 (57)摘要 本申请公开了一种虚拟现实显示方法、 设 备、 系统和可读存储介质， 该虚拟现实显示方法 应用于远程视觉系统中的图像处理设备， 远程视 觉系统还包括多个摄像设备以及至少一个虚拟 现实显示设备， 摄像设备用于采集第一全景图 像， 该虚拟现实显示方法包括： 获取第一全景图 像以及用户姿态信息， 用户姿态信息为佩戴虚拟 现实显示设备的用户的姿态信息； 基于用户姿态 信息， 生成变换数据； 基于变换数据， 对第一全景 图像进行 纹理贴图处理， 得到与用户的视角对应 的局部视图； 将局部视图分发至相应的虚拟现实 显示设备， 以使得虚拟现实显示 设备显示局部视 图。 通过上述方式， 本申请能够提升数据传输的 效率以及实时性。 权利要求书2页 说明书6页 附图5页 CN 114866760 A 2022.08.05 CN 114866760 A 1.一种虚拟现实显示方法， 其特征在于， 应用于远程视觉系统中的图像处理设备， 所述 远程视觉系统还包括多个摄像设备以及至少一个虚拟现实显示设备， 所述摄像设备用于采 集第一全景图像， 所述方法包括： 获取所述第 一全景图像以及用户姿态信 息， 所述用户姿态信 息为佩戴所述虚拟现实显 示设备的用户的姿态信息； 基于所述用户姿态信息， 生成变换 数据； 基于所述变换数据， 对所述第一全景图像进行纹理贴图处理， 得到与所述用户的视角 对应的局部 视图； 将所述局部视图分发至相应的虚拟现实显示设备， 以使得所述虚拟现实显示设备显示 所述局部 视图。 2.根据权利要求1所述的虚拟现实显示方法， 其特征在于， 所述用户姿态信 息包括用户 的三自由度信息、 用户的视角 信息以及所述摄像设备 的姿态信息， 所述变换数据包括模型 矩阵、 投影矩阵以及视图矩阵； 所述基于所述用户姿态信息， 生成变换 数据的步骤， 包括： 对所述三自由度信息进行处 理， 得到所述模型矩阵； 对所述视角信息进行处 理， 得到所述投影矩阵； 对所述姿态信息进行处 理， 得到所述视图矩阵。 3.根据权利要求2所述的虚拟现实显示方法， 其特征在于， 所述基于所述变换数据， 对 所述第一全景图像进行纹理贴图处理， 得到与所述用户的视角对应的局部视图的步骤， 包 括： 获取所述第一全景图像的原 始像素顶点 坐标； 基于所述变换 数据与所述原 始像素顶点 坐标， 计算得到当前像素顶点 坐标； 基于所述当前像素顶点坐标， 对所述第一全景图像进行纹理贴图处理， 得到所述局部 视图。 4.根据权利要求3所述的虚拟现实显示方法， 其特征在于， 所述基于所述变换数据与 所 述原始像素顶点 坐标， 计算得到当前像素顶点 坐标的步骤， 包括： 将所述模型矩阵、 所述投影矩阵、 所述视图矩阵以及所述原始像素顶点坐标相乘， 得到 所述当前像素顶点 坐标。 5.根据权利要求1所述的虚拟现实显示方法， 其特征在于， 所述基于所述变换数据， 对 所述第一全景图像进行纹理贴图处理， 得到与所述用户的视角对应的局部视图的步骤之 前， 包括： 对所述第一全景图像进行等距圆柱投影的逆处理， 得到第二全景图像， 所述第二全景 图像的维度大于所述第一全景图像的维度。 6.一种图像处理设备， 其特征在于， 包括互相连接的存储器和 处理器， 其中， 所述存储 器用于存储计算机程序， 所述计算机程序在被所述处理器执行时， 用于实现权利要求 1‑5中 任一项所述的虚拟现实显示方法。 7.一种远程视觉系统， 其特征在于， 包括多个摄像设备、 图像处理设备以及至少一个虚 拟现实显示设备， 所述摄像设备与所述图像处理设备连接， 用于采集第一全景图像并发送 至所述图像处理设备； 所述图像处理设备用于基于所述第一全景图像， 生成与每个所述虚权　利　要　求　书 1/2 页 2 CN 114866760 A 2拟现实显示设备对应的局部视图， 所述图像处理设备为权利要求6所述的图像处理设备； 所 述虚拟现实显示设备与所述图像处 理设备连接， 用于 接收所述局部 视图并进行显示。 8.根据权利要求7所述的远程视觉系统， 其特征在于， 所述远程视觉系统还包括通信基 站， 所述通信基站与所述摄像设备以及所述图像处理设备连接， 用于建立所述摄像设备与 所述图像处 理设备之间的通信连接 。 9.根据权利要求7所述的远程视觉系统， 其特征在于， 所述图像处理设备还用于构建离 屏纹理， 将所述局部视图渲染至所述离屏 纹理， 并将所述离屏 纹理发送至所述虚拟现实显 示设备， 以使得 所述虚拟现实显示设备显示所述局部 视图。 10.根据权利要求7所述的远程视觉系统， 其特征在于， 所述摄像设备包括多个按照环 形排布的子摄 像头， 相邻两个所述子摄 像头之间的夹角为预设角度。 11.根据权利要求10所述的远程视觉系统， 其特征在于， 所述摄像设备还包括主控单 元， 所述主控单元与所有所述子摄像头连接， 用于对所有所述子摄像头采集到的图像数据 进行拼接， 得到第一全景数据； 对所述第一全景数据进 行等距圆柱投影处理， 得到第二全景 数据， 所述第一全景数据的维度大于所述第二全景数据的维度； 对所述第二全景数据进行 编码， 得到全景编码数据并发送至所述图像处理设备， 以使得所述图像处理设备对所述全 景编码数据进行解码得到所述第一全景图像。 12.一种计算机可读存储介质， 用于存储计算机程序， 其特征在于， 所述计算机程序在 被处理器执行时， 用于实现权利要求1 ‑5中任一项所述的虚拟现实显示方法。权　利　要　求　书 2/2 页 3 CN 114866760 A 3