(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210579693.9 (22)申请日 2022.05.26 (71)申请人 中国平安财产保险股份有限公司 地址 518048 广东省深圳市福田区益田路 5033号平安金融中心12、 13、 38、 39、 40 层 (72)发明人 刘文杰　 (74)专利代理 机构 北京市京大律师事务所 11321 专利代理师 沈克琪 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/48(2006.01) G06F 9/455(2006.01) G06T 1/20(2006.01) (54)发明名称 GPU资源调度方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及云技术领域， 公开了一种GPU资 源调度方法、 装置、 设备及存储介质。 该方法包 括： 获取目标容器对GP U资源的注册信息， 并根据 注册信息， 创建目标容器在GPU资源中模拟卡槽 的套接信息； 基于套接信息， 将目标容器在K8S集 群上进行虚拟化处理， 得到目标容器在K8S集群 对应的节点 资源信息； 根据节点资源信息， 对GP U 资源进行划分， 并通过K8S集群将划分的GPU资源 分配给目标容器； 获取在K8S集群上对目标容器 的操作指令， 并参照套接信息， 在目标容器分配 到的GPU资源中调度 操作指令对应的GPU资源。 本 发明实现了多个容器共享一个GPU卡的资源， 提 升了GPU资源需求使用的灵活性。 权利要求书2页 说明书9页 附图6页 CN 114942846 A 2022.08.26 CN 114942846 A 1.一种GPU资源调度方法， 其特 征在于， 所述GPU资源调度方法包括： 获取目标容器对GPU资源 的注册信息， 并根据所述注册信息， 创建目标容器在所述GPU 资源中模拟卡槽的套接信息； 基于所述套接信息， 将所述目标容器在K8S集群上进行虚拟化处理， 得到所述目标容器 在所述K8 S集群对应的节点资源信息； 根据所述节点资源信息， 对所述GPU资源进行划分， 并通过所述K8S集群将划分的GPU资 源分配给 所述目标容器； 获取在K8S集群上对所述目标容器的操作指令， 并参照所述套接信息， 在所述目标容器 分配到的GPU资源中调度所述操作指令对应的GPU资源。 2.根据权利要求1所述的GPU资源调度 方法， 其特征在于， 所述根据所述注册信息， 创建 目标容器在所述GPU资源中模拟卡槽的套接信息包括： 根据所述注册信息， 确定所述目标容器在所述GPU资源中待注册 的显存容量以及模拟 卡槽的注 册名称； 按照预置格 式， 采用所述注册名称创建所述目标容器在所述GPU资源中的套接字， 并基 于所述套接 字和所述显存容 量生成套接信息 。 3.根据权利要求1所述的GPU资源调度 方法， 其特征在于， 所述基于所述套接信息， 将所 述目标容器在K8S集群上进 行虚拟化处理， 得到所述目标容器在所述K8S集群对应的节 点资 源信息包括： 确定所述目标容器的进程信息， 并统计所述进程信息中各个进程的显存需求 量； 确定与所述K8S集群关联的各张GPU卡的资源信息， 并基于所述资源信息和所述显存需 求量， 分配所述各个进程在对应各张GPU卡的节点资源； 根据分配的节点资源和所述套接信息， 生成所述目标容器在所述K8S集群中的节点资 源信息。 4.根据权利要求3所述的GPU资源调度方法， 其特征在于， 所述根据分配的节点资源和 所述套接信息， 生成所述目标容器在所述K8 S集群中的节点资源信息包括： 根据分配的节点资源， 将各进程分配到的对应GPU卡的节点资源在所述K8S集群中与所 述套接信息进行绑定； 基于绑定的结果， 生成所述目标容器在所述K8 S集群中的节点资源信息 。 5.根据权利要求3所述的GPU资源调度方法， 其特征在于， 在所述根据所述节点资源信 息， 对所述GPU资源进 行划分， 并通过所述K8S集群将划分的GPU资源分配给所述目标容器之 后， 还包括： 监测所述目标容器中各个进程的显存使用量， 并分别判断监测到的各个显存使用量是 否超过对应进程的显存需求 量； 若超过， 则在所述K8S集群 中对所述目标容器执行预置的重启策略， 按照所述显存使用 量， 重新分配各个进程在对应各张GPU卡的节点资源。 6.根据权利要求1 ‑5任一项所述的GPU资源调度方法， 其特征在于， 所述参照所述套接 信息， 在所述目标容器分配到的GPU资源中调度所述操作指令对应的GPU资源 包括： 参照所述套接信 息， 确定所述操作指令指向的模拟卡槽， 并通过所述模拟卡槽， 将所述 操作指令发送至所述目标容器分配到的GPU资源 对应的GPU分区；权　利　要　求　书 1/2 页 2 CN 114942846 A 2采用所述操作指令遍历所述GPU分区， 并基于遍历的结果， 确定所述操作指令所操作的 GPU资源； 将所述操作指令所操作的GPU资源调度至所述目标容器。 7.一种GPU资源调度装置， 其特 征在于， 所述GPU资源调度装置包括： 创建模块， 用于获取目标容器对GPU资源的注册信息， 并根据所述注册信息， 创建目标 容器在所述GPU资源中模拟卡槽的套接信息； 虚拟化模块， 用于基于所述套接信息， 将所述目标容器在K8S集群上进行虚拟化处理， 得到所述目标容器在所述K8 S集群对应的节点资源信息； 划分模块， 用于根据所述节点资源信息， 对所述GPU资源进行划分， 并通过所述K8S集群 将划分的GPU资源分配给 所述目标容器； 调度模块， 用于获取在K8S集群上对所述目标容器的操作指令， 并参照所述套接信息， 在所述目标容器分配到的GPU资源中调度所述操作指令对应的GPU资源。 8.根据权利 要求7所述的GPU资源调度装置， 其特征在于， 所述GPU资源调度装置还包括 重启模块， 用于： 监测所述目标容器中各个进程的显存使用量， 并分别判断监测到的各个显存使用量是 否超过对应进程的显存需求 量； 若超过， 则在所述K8S集群 中对所述目标容器执行预置的重启策略， 按照所述显存使用 量， 重新分配各个进程在对应各张GPU卡的节点资源。 9.一种GPU资源调度设备， 其特征在于， 所述GPU资源调度设备包括： 存储器和至少一个 处理器， 所述存 储器中存 储有指令； 所述至少一个处理器调用所述存储器中的所述指令， 以使得所述GPU资源调度设备执 行如权利要求1 ‑6中任意一项所述的GPU资源调度方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质上存储有指令， 其特征在于， 所述指令被处 理器执行时实现如权利要求1 ‑6中任意一项所述GPU资源调度方法的步骤。权　利　要　求　书 2/2 页 3 CN 114942846 A 3