(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210835633.9 (22)申请日 2022.07.15 (71)申请人 北京云思智学 科技有限公司 地址 101100 北京市通州区经济开发区东 区靓丽三街9号-20 60 (72)发明人 刘泽强　张迎　刘晋　 (74)专利代理 机构 北京清诚知识产权代理有限 公司 11691 专利代理师 何怀燕 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/48(2006.01) (54)发明名称 Flink集群的任务资源调整方法、 装置及电 子设备 (57)摘要 本申请涉及一种Flink集群的任务资源调整 方法、 装置、 电子设备及计算机可读介质。 该方法 包括： 通过M etrics系统获取Flink集群中的任 务 对应的多个指标； 根据任务类别在多个 资源调整 策略中为所述任务确定目标资源调整策略； 根据 所述多个指标和所述目标资源调整策略判断所 述任务的状态是否存在异常； 在所述任务的状态 存在异常时， 生成资源调整指令； 基于所述资源 调整指令重启所述任务对应的TaskManager以更 新所述任务对应的任务资源。 本申请涉及的任务 资源调整方法， 能够在业务流量发生变化的情况 下， 自动调整Flink任 务资源， 既能够避免预留大 量任务资源造成的浪费， 又能够 避免由于缺少任 务资源导 致的任务延迟。 权利要求书2页 说明书11页 附图7页 CN 115373835 A 2022.11.22 CN 115373835 A 1.一种Fl ink集群的任务资源调整方法， 其特 征在于， 包括： 通过Metrics系统获取 Flink集群中的任务对应的多个指标； 根据任务类别在多个资源调整策略中为所述任务确定目标资源调整策略； 根据所述多个指标和所述目标资源调整策略判断所述任务的状态是否存在异常； 在所述任务的状态存在异常时， 生成资源调整指令； 基于所述资源调整指令重启所述任务对应的TaskMan ager以更新所述任务对应的任务 资源。 2.如权利要求1所述的方法， 其特 征在于， 还 包括： 根据任务对应的TaskMana ger中CPU利用率 生成资源调整策略； 和/或 根据任务对应的时延数值 生成资源调整策略； 和/或 根据任务对应的TaskMana ger中内存利用率和GC指标生成资源调整策略； 和/或 根据任务对应的内存溢出异常生成资源调整策略； 为多个任务类别分别确定其对应的资源调整策略。 3.如权利 要求1所述的方法， 其特征在于， 通过Metrics系统获取Flink集群中的任务对 应的多个指标， 包括： 在Flink集群中的任务启动时， 在Zo okeeper注册为临时节点； Prometheus监控系统通过Zo okeeper中的临时节点对Fl ink集群中的任务进行监控； Prometheus监控系统通过 Flink集群中Met rics系统获取任务对应的所述多个指标。 4.如权利要求3所述的方法， 其特征在于， Prometheus监控系统通过Flink集群中 Metrics系统获取任务对应的所述多个指标， 包括： Prometheus监控系统基于第一定时周期通过Flink集群中Metrics系统获取任务对应 的延迟指标； Prometheus监控系统基于第二定时周期通过Flink集群中Metrics系统获取任务对应 的所述多个指标。 5.如权利要求1所述的方法， 其特征在于， 根据任务类别在多个资源调整策略中为所述 任务确定目标资源调整策略， 包括： 在MySQL数据库中获取 所述多个资源调整策略； 根据任务类别由多个资源调整策略目标资源调整策略。 6.如权利要求1所述的方法， 其特征在于， 根据所述多个指标和所述目标资源调 整策略 判断所述任务的状态是否存在异常， 包括： 将所述多个指标代入所述目标资源调整策略对应的规则表达式 中， 生成计算结果； 根据结果阶段确定所述任务的状态是否存在异常。 7.如权利要求1所述的方法， 其特征在于， 基于所述资源调整指令重启所述任务对应的 TaskMana ger以更新所述任务对应的任务资源， 包括： 将所述资源调整指令发送到Fl ink集群的任务调度接口； 重启所述任务对应的TaskMana ger以更新所述任务对应的任务资源。 8.一种Fl ink集群的任务资源调整装置， 其特 征在于， 包括： 指标模块， 用于通过Met rics系统获取 Flink集群中的任务对应的多个指标； 策略模块， 用于根据任务类别在多个资源调整策略中为所述任务确定目标资源调 整策权　利　要　求　书 1/2 页 2 CN 115373835 A 2略； 判断模块， 用于根据 所述多个指标和所述目标资源调 整策略判断所述任务的状态是否 存在异常； 指令模块， 用于在所述任务的状态存在异常时， 生成资源调整指令； 调整模块， 用于基于所述资源调整指令重启所述任务对应的TaskManager以更新所述 任务对应的任务资源。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑7中任一所述的方法。 10.一种计算机可读介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理器执 行时实现如权利要求1 ‑7中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115373835 A 3