(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210578632.0 (22)申请日 2022.05.25 (71)申请人 上海浦东发展银行股份有限公司 地址 200002 上海市黄浦区中山 东一路12 号 (72)发明人 尤琳敏　何佳朕　刘钟州　周涛文　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 丁云 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06F 9/52(2006.01) G06F 11/07(2006.01) (54)发明名称 一种基于分布式架构的批处 理方法 (57)摘要 本发明涉及一种基于分布式架构的批处理 方法， 包括： 任务配置： 负责管理任务信息， 配置 业务批处理任务； 任务调度： 将配置好的任务注 册到计划调度器容器形成装配好的作业， 计划调 度器容器中的线程池并行调度执行每个作业； 批 处理： 在Spring  Batch的基础上采用远程 分片的 技术对业务数据按照不同的业务需求进行批量 处理； 任务监控： 对任务调度及批处理进行全过 程的日志记录。 与现有技术相比， 本发明大大提 高了Spring  Batch在处理大数量文件或数据的 时效， 从而高效地执行超大型数据密集的批处理 任务。 权利要求书1页 说明书5页 附图2页 CN 115048199 A 2022.09.13 CN 115048199 A 1.一种基于分布式架构的批处 理方法， 其特 征在于， 包括： 任务配置： 负责管理任务信息， 配置业 务批处理任务； 任务调度： 将配置好的任务注册到计划调度器容器形成装配好的作业， 计划调度器容 器中的线程池并行调度执 行每个作业； 批处理： 在Sprin g Batch的基础 上采用远程分片的技术对业务数据按照不同的业务需 求进行批量处 理； 任务监控： 对任务调度及批处 理进行全过程的日志 记录。 2.根据权利要求1所述的一种基于分布式架构的批处理方法， 其特征在于， 在任务配置 时支持可视化地、 动态地管理调度信息， 包括定时任务新建、 修改、 查询、 删除、 启用、 禁用、 执行任务， 所有操作都实时生效， 同时支持监控调 度结果和查看执行日志， 支持业务系统故 障重启断点 续跑。 3.根据权利要求1所述的一种基于分布式架构的批处理方法， 其特征在于， 所述的任务 调度时计划调度器容器为基于quar tz分布式调度框架的Sc heduler容器。 4.根据权利要求1所述的一种基于分布式架构的批处理方法， 其特征在于， 并行调度 执 行每个作业时在每个作业执行前获取分布式锁， 获取锁成功则执行作业， 获取锁失败则退 出， 在每个作业执 行后释放分布式锁。 5.根据权利要求4所述的一种基于分布式架构的批处理方法， 其特征在于， 多线程并发 运行时， 通过Redis son实现分布式锁， 同一时刻只能有一个线程获得分布式锁。 6.根据权利要求5所述的一种基于分布式架构的批处理方法， 其特征在于， 所述的通过 Redisson实现分布式锁的具体过程包括： 线程通过JobKey获取作业执行的分布式锁， 获取成功则执行lua脚本， 保存数据到 redis数据库， 如果获取失败， 一直通过while循环尝试获取分布式锁， 获取成功后， 执行lua 脚本， 保存数据到redis数据库， whi le循环超时后返回失败。 7.根据权利要求6所述的一种基于分布式架构的批处理方法， 其特征在于， 当线程获取 了分布式锁， 若超过分布式锁的有效时限线程仍旧没有 执行完， 通过Watch  Dog看门狗机制 自动给redis中的JobK ey延长超时 时间。 8.根据权利要求1所述的一种基于分布式架构的批处理方法， 其特征在于， 所述的批处 理过程具体包括： 采用Redis做消息中间件实现批处理的远程分片， Master节 点将数据或文 件根据一定的业务规则， 拆分成若干段要处理的数据集， 然后将数据集放到Redis消息中间 件中， 从节点 监听到消息， 获取消息， 读取消息中的数据集处 理并返回结果到 Master。 9.根据权利要求1所述的一种基于分布式架构的批处理方法， 其特征在于， 任务调度的 日志记录包括任务 id、 任务名称、 调度时间、 执 行人、 所属服 务、 调度参数。 10.根据权利要求1所述的一种基于分布式架构的批处理方法， 其特征在于， 批处理的 日志记录包括实例id、 任务名称、 执 行时间、 状态、 执 行状态、 执 行参数。权　利　要　求　书 1/1 页 2 CN 115048199 A 2一种基于分布式架构的批处理 方法 技术领域 [0001]本发明涉及一种批处 理方法， 尤其是 涉及一种基于分布式架构的批处 理方法。 背景技术 [0002]批处理作为银行业务的重要处理技术， 最主要是对资金交易进行对账、 清算、 生成 报表等， 特别是涉及大数据量业务的跑批操作， 随着分布式架构的广泛应用， 对批处理的需 求也提出了新的挑战， 传统应对单体系统的批处理方式， 已经不能满足日益复杂的业务处 理需要。 [0003]Spring Batch是市面上较流行的轻量级的综合性批处理框架， 可以应用于企业级 大数据批量处理。 典型的批处理流程是读数据、 处理数据、 写数据， 具体为： 从数据库、 文件 或队列中读取大量数据， 然后通过一定的业务规则处理数据， 最后将处理完的数据按不同 业务流程写入(数据库、 文件等)。 通常Spring  Batch工作在离线模式下， 不需要用户干预、 就能自动进行基本的批处 理迭代， 进行类似 事务方式的处 理。 [0004]Spring Batch架构主要分为三类组件： 应用层(Applicat ion)、 核心层(Core)和基 础架构层(I nfrastructure)。 [0005]应用层(Ap plication)： 指开发人员编写的所有批处 理业务作业和自定义代码。 [0006]核心层(Core)： 指加载和控制批处理作业所必需的核心类， 含JobLauncher， Job和 Step的实现。 [0007]基础架构层(Infrastructure)： 应用层与核心层都构建在基础架构层之上。 基础 架构包括通用的readers(ItemReader)和writers(ItemWriter)， 以及services(如重试模 块RetryTemplate)， 可以被 应用层和核心层所使用。 [0008]Spring Batch是一个轻量级的批处理应用框架， 他的轻量级是相对于MapReduce、 Spark之类的集群批处 理架构来说的。 总体有如下缺 点： [0009]1、 虽然spri ng batch支持机器集群， 但是 大多用的是 单机的多 线程并行处 理。 [0010]2、 Spring  Batch不是一个调度框架， 它只关注于任务的处理， 如日志监控、 事务、 并发问题等， 因此 未提供关于 批处理任务调度的功能。 [0011]3、 Spring  Batch未提供统一的任务配置管理界面， 不利于批处理任务的管理和监 控。 [0012]4、 当批处理任务出现异常时， Spring  Batch没有告警功 能， 不能及时通知到项目 负责人。 发明内容 [0013]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于分布式架 构的批处 理方法。 [0014]本发明的目的可以通过以下技 术方案来实现： [0015]一种基于分布式架构的批处 理方法， 包括：说　明　书 1/5 页 3 CN 115048199 A 3