(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221081015 3.7 (22)申请日 2022.07.11 (71)申请人 上海万物新 生环保科技 集团有限公 司 地址 200433 上海市杨 浦区淞沪路43 3号 1101-1103室 (72)发明人 程伟　吴义良　王辉　 (74)专利代理 机构 上海百一领御专利代理事务 所(普通合伙) 31243 专利代理师 朱永海 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/38(2006.01) G06F 16/22(2019.01) (54)发明名称 一种分布式数据并行处 理的方法及装置 (57)摘要 本申请提供了一种本申请提供了分布式数 据并行处理的技术方案， 其方法包括： 初始化业 务线程池， 并获取业务数据处理参数的初值及对 应的分布式分片索引； 获取待处理的分片数据的 全部分片主键， 并基于所述分布式分片索引， 确 定对应的分片数据的分片 主键列表； 将所述分片 主键列表及所述业务数据处理参数的初值发送 至所述业务线程池， 触发所述业务线程池中的业 务线程并行执行， 以获取所述分片主键列表对应 的分片数据， 并基于所述业务数据处理参数的初 值对所述分片数据进行业务数据处理， 及更新所 述业务数据处理参数的参数值。 该方法可高效实 现对百万级别规模业务数据的分布式并行维护 处理， 既消除了单节点的性能限制， 又降低了开 发、 维护成本 。 权利要求书2页 说明书9页 附图1页 CN 115408148 A 2022.11.29 CN 115408148 A 1.一种分布式数据并行处 理的方法， 其特 征在于， 所述方法包括： 初始化业务线程池， 并获取业务数据处理参数的初值及对应的分布式分片索引， 其中， 所述业务线程池 包括若干并行 执行的业务线程； 获取待处理的分片数据的全部分片主键， 并基于所述分布式分片索引， 从所述待处理 的分片数据的全部分片主键中确定对应的分片数据的分片主键列表； 将所述分片主键列表及所述业务数据处理参数的初值发送至所述业务线程池， 触发所 述业务线程池中的业务线程并行执行， 以获取所述分片主键列表对应的分片数据， 并基于 所述业务数据处理参数的初值对所述分片数据进 行业务数据处理， 及更新所述业务数据处 理参数的参数值。 2.根据权利要求1所述的方法， 其特 征在于， 所述分布式分片索引的获取包括： 向缓存中间件发送IP信息， 以使所述缓存中间件基于接收到的所有IP信息， 计算对应 的分布式分片索引， 并返回。 3.根据权利要求1所述的方法， 其特征在于， 所述获取待处理的分片数据的全部分片主 键包括： 基于预设业务数据分片主键加载接口的实现方式， 获取待处理 的分片数据的全部分片 主键。 4.根据权利要求1所述的方法， 其特征在于， 所述获取所述分片主键列表对应的分片数 据包括： 基于预设业 务数据处 理接口的实现方式， 获取 所述分片主键列表对应的分片数据。 5.根据权利要求1所述的方法， 其特征在于， 在将所述分片主键列表及所述业务数据处 理参数的初值发送至所述 业务线程池之前， 所述方法还 包括： 查询是否存在所述分片主键列表对应的业务处理参数快照， 若存在， 则获取所述业务 处理参数快照， 并覆盖所述 业务数据处 理参数的初值。 6.根据权利要求5所述的方法， 其特征在于， 所述更新所述业务数据处理参数的参数值 包括： 若在业务数据处理过程中发生中断， 将所述业务数据处理参数的初值更新为中断发生 时当前处理的业务数据对应的业务数据 处理参数 的参数值， 并进行快照处理， 以获得所述 分片主键列表对应的业 务数据处 理参数快照； 若完成对所述分片数据的业务数据处理， 将所述业务数据处理参数的初值更新为最后 处理的业务数据对应的业 务数据处 理参数的参数值。 7.根据权利要求1所述的方法， 其特 征在于， 所述 业务数据处 理参数至少包括： 数据游标号和分片主键 。 8.一种分布式数据并行处 理的装置， 其特 征在于， 所述装置包括： 第一模块， 用于初始化业务线程池， 并获取业务数据处理参数的初值及对应的分布式 分片索引， 其中， 所述 业务线程池 包括若干并行 执行的业务线程； 第二模块， 用于获取待处理的分片数据的全部分片主键， 并基于所述分布式分片索引， 从所述待处 理的分片数据的全部分片主键中确定对应的分片数据的分片主键列表； 第四模块， 用于将所述分片主键列表及所述业务数据处理参数的初值发送至所述业务 线程池， 触发所述业务线程池中的业务线程并行执行， 以获取所述分片主键列表对应的分权　利　要　求　书 1/2 页 2 CN 115408148 A 2片数据， 并基于所述业务数据处理参数对所述分片数据进行业务数据 处理， 及更新所述业 务数据处 理参数的参数值。 9.根据权利要求8所述的装置， 其特 征在于， 所述装置还 包括： 第三模块， 用于在将所述分片主键列表及所述业务数据处理参数的初值发送至所述业 务线程池之前， 查询是否存在所述分片主键列 表对应的业务处理参数快照， 若存在， 则获取 所述业务处理参数快照， 并覆盖所述 业务数据处 理参数。 10.一种计算机可读介质， 其特 征在于， 其上存储有计算机可读指令， 所述计算机可读指令被处理器执行以实现如权利要求1 至7中任一项所述的方法。 11.一种业 务状态变更通知的处 理设备， 其特 征在于， 所述设备包括： 一个或多个处 理器； 以及 存储有计算机可读指令的存储器， 所述计算机可读指令在被执行时使所述处理器执行 如权利要求1至7中任一项所述方法的操作。权　利　要　求　书 2/2 页 3 CN 115408148 A 3