(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210621765.1 (22)申请日 2022.06.02 (71)申请人 杭州海康威视数字技 术股份有限公 司 地址 310051 浙江省杭州市滨江区阡 陌路 555号 (72)发明人 陈双平　邹佳林　 (74)专利代理 机构 北京中博世 达专利商标代理 有限公司 1 1274 专利代理师 申健 (51)Int.Cl. G06T 1/20(2006.01) G06F 9/50(2006.01) (54)发明名称 一种GPU资源调度方法、 装置、 设备及存储介 质 (57)摘要 本申请提供一种GPU资源调度方法、 装置、 设 备及存储介质， 涉及计算机技术领域， 可 以充分 利用GPU的资源且避免GPU资源冲突。 该方法包 括： 获取应用程序的应用资源描述， 确定满足应 用资源描述的目标GPU； 应用资源描述用于指示 应用程序的GPU能力需求； 获取用于启动应用程 序的启动应用 请求， 启动应用程序； 在获取到应 用程序的资源请求时， 若确定目标GPU的当前可 用资源满足应用资源描述指示的资源， 向应用程 序分配目标GPU中应用资源描述指示的资源； 或 者， 在获取到应用程序的资源请求后， 在应用程 序使用目标GPU资源的过程中， 控制应用程序使 用目标GPU资源小于或等于应用资源描述指示的 资源。 本申请可用于GPU资源调度的过程中。 权利要求书3页 说明书12页 附图7页 CN 115063282 A 2022.09.16 CN 115063282 A 1.一种图形处 理器GPU资源调度方法， 其特 征在于， 所述方法包括： 获取应用程序的应用资源描述， 确定满足所述应用资源描述的目标GPU； 所述应用资源 描述用于指示应用程序的GPU能力需求； 获取用于启动所述应用程序的启动应用请求， 启动所述应用程序； 在获取到所述应用程序的资源请求时， 若确定所述目标GPU的当前可用资源满足所述 应用资源描述指示的资源， 向所述应用程序分配所述 目标GPU中所述应用资源描述指示的 资源； 或者， 在获取到所述应用程序的资源请求后， 在所述应用程序使用所述目标GPU资源 的过程中， 控制所述应用程序使用所述目标GPU资源小于或等于所述应用资源描述指示的 资源。 2.根据权利要求1所述的方法， 其特征在于， 在启动所述应用程序之前， 所述方法还包 括： 创建所述应用程序对应的虚拟GPU； 所述在获取到所述应用程序的资源请求时， 若确定所述目标GPU的当前可用资源满足 所述应用资源描述指示的资源， 向所述应用程序分配所述目标GPU中所述应用资源描述指 示的资源， 包括： 在获取到所述应用程序的资源请求时， 所述虚拟GPU在确定所述目标GPU的当前可用资 源满足所述应用资源描述指示的资源的情况下， 向所述应用程序分配所述 目标GPU中所述 应用资源描述指示的资源； 所述在获取到所述应用程序的资源请求后， 在所述应用程序使用所述目标GPU资源的 过程中， 控制所述应用程序使用所述目标GPU资源小于或等于所述应用资源描述指示的资 源， 包括： 在获取到所述应用程序的资源请求后， 在所述应用程序使用所述目标GPU资源的过程 中， 所述虚拟GPU控制所述应用程序使用所述目标GPU资源小于或等于所述应用资源描述指 示的资源。 3.根据权利要求1或2所述的方法， 其特征在于， 所述应用资源描述包括所述应用程序 的额定显存； 所述资源请求用于分配显存； 所述若确定所述目标GPU的当前可用资源满足所述应用资源描述指示的资源， 向所述 应用程序分配所述目标GPU中所述应用资源描述指示的资源， 包括： 若确定所述目标GPU的可用显存大于或等于所述额定显存， 向所述应用程序分配所述 目标GPU中所述 额定显存大小的显存， 更新所述目标GPU的可用显存。 4.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 获取所述应用程序的资源释放请求， 所述资源释放请求包括存储标识， 所述存储标识 指示所述目标GPU中由所述应用程序使用的显存； 释放所述目标GPU中所述存 储标识指示的显存， 更新所述目标GPU的可用显存。 5.根据权利要求1或2所述的方法， 其特征在于， 所述应用资源描述包括所述应用程序 的额定算力 利用率； 所述资源请求用于请求使用所述目标GPU的算力； 所述在所述应用程序使用所述目标GPU资源的过程中， 控制所述应用程序使用所述目 标GPU资源小于或等于所述应用资源描述指示的资源， 包括： 在所述应用程序使用所述目标GPU资源的过程中， 获取所述应用程序对所述目标GPU的权　利　要　求　书 1/3 页 2 CN 115063282 A 2实时算力 利用率； 在所述实时算力利用率大于所述额定算力利用率的情况下， 延迟执行所述应用程序使 用所述目标GPU算力的指令， 直至获取的实时算力 利用率小于或等于所述 额定算力 利用率。 6.根据权利要求2所述的方法， 其特征在于， 所述创建所述应用程序对应的虚拟GPU， 包 括： 函数劫持所述目标GPU的用于调用资源的底层功能函数， 得到所述虚拟GPU。 7.根据权利要求5所述的方法， 其特征在于， 所述算力包括下述一项或多项： 计算算力、 编码算力、 解码算力。 8.一种图像处理器GPU资源调度装置， 其特征在于， 所述装置包括： 获取模块和处理模 块； 所述获取模块用于， 获取应用程序的应用资源描述， 确定满足所述应用资源描述的目 标GPU； 所述应用资源描述用于指示应用程序的GPU能力需求； 所述获取模块还用于， 获取用于启动所述应用程序的启动应用请求， 启动所述应用程 序； 所述处理模块用于， 在获取到所述应用程序的资源请求 时， 若确定所述目标GPU的当前 可用资源满足所述应用资源描述指示的资源， 向所述应用程序分配所述 目标GPU中所述应 用资源描述指示的资源； 或者， 在获取到所述应用程序的资源请求后， 在所述应用程序使用 所述目标GPU资源的过程中， 控制所述应用程序使用所述目标GPU资源小于或等于所述应用 资源描述指示的资源。 9.根据权利要求8所述的装置， 其特 征在于， 所述装置还 包括： 创建模块； 所述创建模块用于， 创建所述应用程序对应的虚拟GPU； 所述处理模块具体用于， 在获取到所述应用程序的资源请求时， 所述虚拟GPU在确定所 述目标GPU的当前可用资源满足所述应用资源描述指示的资源的情况下， 向所述应用程序 分配所述目标GPU中所述应用资源描述指示的资源； 所述处理模块具体用于， 在获取到所述应用程序的资源请求后， 在所述应用程序使用 所述目标GPU资源的过程中， 所述虚拟GPU控制所述应用程序使用所述目标GPU资源小于或 等于所述应用资源描述指示的资源； 所述应用资源描述包括所述应用程序的额定显存； 所述资源请求用于分配显存； 所述 处理模块具体用于， 若确定所述目标GPU的可用显存大于或等于所述额定显存， 向所述应用 程序分配所述目标GPU中所述 额定显存大小的显存， 更新所述目标GPU的可用显存； 所述获取模块还用于， 获取所述应用程序的资源释放请求， 所述资源释放请求包括存 储标识， 所述存 储标识指示所述目标GPU中由所述应用程序使用的显存； 所述处理模块还用于， 释放所述目标GPU中所述存储标识指示的显存， 更新所述目标 GPU的可用显存； 所述应用资源描述包括所述应用程序的额定算力利用率； 所述资源请求用于请求使用 所述目标GPU的算力； 所述处理模块具体用于， 在所述应用程序使用所述目标GPU资源的过 程中， 获取所述应用程序对 所述目标GPU的实时算力利用率； 在所述 实时算力利用率大于所 述额定算力利用率的情况下， 延迟执行所述应用程序使用所述目标GPU算力的指 令， 直至获 取的实时算力 利用率小于或等于所述 额定算力 利用率；权　利　要　求　书 2/3 页 3 CN 115063282 A 3