(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210639380.8 (22)申请日 2022.05.31 (71)申请人 咪咕视讯科技有限公司 地址 200120 上海市浦东 新区中国 （上海） 自由贸易试验区云桥路6 36号1幢 申请人 咪咕文化科技有限公司 　 中国移动通信集团有限公司 　 西安交通大 学 (72)发明人 李康敬　王琦　赵腾飞　谢于贵　 张志浩　张源鸿　张未展　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 陈小娟 (51)Int.Cl. H04N 5/232(2006.01)H04N 21/2662(2011.01) H04L 65/80(2022.01) (54)发明名称 全景视频传输方法、 装置、 终端设备以及存 储介质 (57)摘要 本发明公开了一种全景视频传输方法、 装 置、 终端设备以及存储介质， 属于视频传输 领域。 所述全景视频传输方法包括： 获取用户视角信 息； 根据所述用户视角信息， 通过预先创建的用 户视角预测模 型对用户视角进行预测， 得到预测 结果； 基于所述预测结果， 为待传输的全景视频 的切片数据分配传输优先级和传输码率； 通过多 路复用优先级调度策略， 按照所述传输优先级和 传输码率， 将所述待传输的全景视频的切片数据 传输到客户端。 本发明通过使用多路复用优先级 调度策略配合全 景视频的视角预测， 使得高传输 优先级的数据以更高的码率传输， 改善了全景视 频的传输效果。 权利要求书2页 说明书13页 附图8页 CN 115022546 A 2022.09.06 CN 115022546 A 1.一种全景视频传输方法， 其特征在于， 所述方法应用于服务器， 所述全景视频传输方 法的步骤 包括： 获取用户视角信息； 根据所述用户视角信息， 通过预先创建的用户视角预测模型对用户视角进行预测， 得 到预测结果； 基于所述预测结果， 为待传输的全景视频的切片数据分配传输优先级和传输码率； 通过多路复用调度策略， 按照所述传输优先级和传输码率， 将所述待传输的全景视频 的切片数据传输 到客户端。 2.根据权利要求1所述的全景视频传输方法， 其特征在于， 所述用户视角信息包括： 用 户头部运动轨迹、 用户当前观看视频内容， 所述用户视角预测模型包括： 编码 器、 解码器， 所 述根据所述用户视角 信息， 通过预先创建的用户视角预测模型对用户视角进行预测， 得到 预测结果的步骤 包括： 通过所述编码器， 对所述用户头部运动轨迹进行编码， 得到所述用户头部运动轨迹的 时序特征； 对所述用户当前观看视频内容进行显著性特 征提取， 得到用户偏好特 征； 基于所述时序特 征和用户偏好特 征， 通过所述解码器输出 所述预测结果。 3.根据权利要求2所述的全景视频传输方法， 其特征在于， 所述对所述用户当前观看视 频内容进行显著性特 征提取， 得到用户偏好特 征的步骤 包括： 对所述用户当前观看视频内容进行反投影， 得到所述用户当前观看视频内容的三维视 频图像； 提取所述三维视频图像的显著性特 征； 将提取了 显著性特 征的所述 三维视频图像进行重投影， 得到二维的显著性图； 对所述显著性图进行降采样， 得到所述用户偏好特 征。 4.根据权利要求2所述的全景视频传输方法， 其特征在于， 所述通过所述编码器， 对所 述用户头 部运动轨 迹进行编码， 得到所述用户头 部运动轨 迹的时序特 征的步骤 包括： 将第一LSTM模型作为所述编码器， 按照时间维度， 将所述用户头部运动轨迹输入至所 述编码器； 通过所述编码器， 将所述用户头部运动轨迹编码为统一的语义向量， 得到所述用户头 部运动轨 迹的时序特 征； 所述用户视角预测模型还包括： 全连接神经网络， 所述根据所述时序特征和用户偏好 特征， 通过所述解码器输出 所述预测结果的步骤 包括： 通过所述全连接神经网络， 将所述时序特 征和用户偏好特 征进行整合， 得到整合结果； 将第二LSTM模型作为所述解码器， 将所述整合结果输入到所述解码器中， 通过所述解 码器输出 所述预测结果。 5.根据权利要求1所述的全景视频传输方法， 其特征在于， 所述基于所述预测结果， 为 待传输的全景视频的切片数据分配传输优先级和传输码率的步骤 包括： 基于所述预测结果， 为所述待传输的全景视频的切片数据分配所述传输优先级； 根据所述传输优先级， 按照从大到小的顺序为所述待传输的全景视频的切片数据分配 所述传输码率， 其中， 所述传输优先级越高的全景视频的切片数据的传输码率越高。权　利　要　求　书 1/2 页 2 CN 115022546 A 26.根据权利要求5所述的全景视频传输方法， 其特征在于， 所述基于所述预测结果， 为 所述待传输的全景视频的切片数据分配所述传输优先级的步骤 包括： 基于所述预测结果， 将所述待传输的全景视频的切片数据划分为视角内区域数据、 视 角边缘区域数据、 视角远侧区域数据； 为所述视角内区域数据 赋予高传输优先级， 为所述视角边缘区域数据 赋予次高传输优 先级， 为所述视角远侧数据赋予低传输优先级， 其中， 对于传输优先级相同的数据， 重传数 据的传输优先级更高。 7.根据权利要求1所述的全景视频传输方法， 其特征在于， 所述通过多路复用优先级调 度策略， 按照所述传输优先级和传输码率， 将所述待传输的全景视频 的切片数据传输到客 户端的步骤之后还 包括： 获取所述客户端的实时观看数据； 根据所述 客户端的实时观看数据， 判断用户视角是否发生变化； 若用户视角未发生变化， 则通过流量控制， 减少视角远侧视频数据流的流量发送， 增加 网络带宽对于高价 值数据的传输率； 若用户视角发生变化， 则通过缓冲机制， 继续发送缓冲区的全景视频， 重新计算用户视 角， 以进行 下一次的全景视频传输 。 8.一种全景视频传输装置， 其特 征在于， 所述全景视频传输装置包括： 数据获取模块， 用于获取用户视角信息； 用户视角预测模块， 用于根据所述用户视角信息， 通过预先创建的用户视角预测模型 对用户视角进行 预测， 得到预测结果； 传输控制模块， 用于基于所述预测结果， 为所述待传输的全景视频的切片数据分配传 输优先级和传输码率； 传输模块， 用于通过多路复用优先级调度 策略， 按照所述传输优先级和传输码率， 将所 述待传输的全景视频的切片数据传输 到客户端。 9.一种终端设备， 其特征在于， 所述终端设备包括存储器、 处理器及存储在所述存储器 上并可在所述处理器上运行的全景视频传输程序， 所述全景视频传输程序被所述处理器执 行时实现如权利要求1 ‑7中任一项所述的全景视频传输方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有全景视 频传输程序， 所述全景视频传输程序被处理器执行时实现如权利要求1 ‑7中任一项所述的 全景视频传输方法的步骤。权　利　要　求　书 2/2 页 3 CN 115022546 A 3