(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210807008.3 (22)申请日 2022.07.07 (71)申请人 河北冀联人力资源服 务集团有限公 司 地址 050051 河北省石家庄市新 华区和平 西路486号2 楼 (72)发明人 吴方同　 (74)专利代理 机构 合肥创智铭企知识产权代理 事务所(普通 合伙) 34231 专利代理师 彭思思 (51)Int.Cl. G06F 9/50(2006.01) (54)发明名称 一种分布式计算任务负载分配处理方法、 系 统和存储介质 (57)摘要 本发明公开了一种分布式计算任务负载分 配处理系统， 包括面向用户的分布式智能计算单 元和大数据处理中心， 所述大数据处理中心与多 个所述面向用户的分布式智能计算单元进行信 息交互， 所述面向用户的分布式智能计算单元采 用3D数据处理技术， 将数据存储层、 数据计算算 法体、 数据处理业务逻辑层封装为一体， 并在近 用户端解决部分计算任务， 本发 明专利提供了一 种分布式计算任务负载分配处理方法、 系统及存 储介质， 通过构建面向用户的分布式计算单元和 大数据处理中心， 实现了数据计算分布式与集中 式 功 能 物 理 分 离 ， 通 过 共 享 模 式 设 计 、 decompose‑merge数据处理方法实现了共 享数据 的分布式计算， 从而提高了系统高并发的处理能 力和计算资源利用效率。 权利要求书2页 说明书7页 附图2页 CN 115098265 A 2022.09.23 CN 115098265 A 1.一种分布式数据处理方法， 包括大数据处理中心， 其特征在于， 所述大数据处理中心 包括计算负载分配模块、 共享数据关联模块、 合并计算模块、 状态监控器模块、 数据仓库； 所述计算负载分配模块采用decompose ‑merge数据处理方法； 所述共享数据关联模块采用共享模式设计方法， 在大数据处理中心的数据仓库中开辟 共享数据空间， 用于与面向用户的分布式智能计算单 元进行数据交互， 具体步骤 包括： S1.定义数据共享模式的抽象方法Sharingmode， ExtrinsicState为外在模式， operation为抽象模式操作方法； S2.定义数据共享的具体实现方法ConcreteSharingmode， 该方法继承抽象方法 Sharingmode， 该方法继承数据共享抽象方法Sharingmode， 方法内部定义内部视图状态 lntrinsicState， 并将存储空间分配给内部状态， 对内部状态来说ConcreteSharingmode空 间为透明的， 定义外部视图加 入内部的方法operation， 并在operation内部封装空间分配 方法Shared dataspace()； S3.定义Sharingmodefactory， Sharingmodefactory负责维护Sharingmode共享空间 池， 以确保该共享空间池只存放内部状态的数据； S4.调用共享数据设计模式， 创建共享数据空间。 2.根据权利要求1所述的一种分布式数据处理方法， 其特征在于， 所述合并计算模块接 收面向用户的分布式智能计算单元返回的数据计算子结果集， 根据子结果集进行合并运 算， 将最终结果存 储到数据仓库中。 3.根据权利要求1所述的一种分布式数据处理方法， 其特征在于， 所述状态监控器模块 创建任务池taskpo ol用于监控面向用户的分布式智能计算单 元数据处理器的工作状态。 4.一种分布式计算任务负载分配处理系统， 其特征在于， 包括面向用户的分布式智能 计算单元和大数据处理中心， 所述大数据处理中心与多个所述面向用户的分布式智能计算 单元进行信息交互， 所述面向用户的分布式智能计算单元采用3D数据 处理技术， 将数据存 储层、 数据计算算法体、 数据处理业务逻辑层封装为一体， 并在近用户端解决部分计算任 务。 5.根据权利要求4所述的一种分布式计算任务负载分配处理系统， 所述算法容器模块 用于提供计算服务， 存储数据计算算法， 可提供用户输入算法模型， 算法协同单元定期同步 更新算法容器中算法， 将产生变化的算法容器算法模型同步至其他面向用户的分布式智能 计算单元中的算法容器模块。 6.根据权利要求4所述的一种分布式计算任务负载分配处理系统， 所述算法协同单元 模块定期同步更新算法容器中算法， 将产生变化的算法容器算法模型同步至其他面向用户 的分布式智能计算单 元中的算法容器模块。 7.根据权利要求4所述的一种分布式计算任务负载分配处理系统， 所述算法协同单元 模块定期同步更新近用户端逻辑层 模块中业务逻辑模型， 将产生变化的业务逻辑模型同步 至其他面向用户的分布式智能计算单 元中的近用户端逻辑层模块。 8.根据权利要求4所述的一种分布式计算任务负载分配处理系统， 所述近用户端逻辑 层模块用于提供用户计算的业务逻辑， 可提供用户输入业务逻辑模型， 算法协同单元定期 同步更新近用户端逻辑层模块中业务逻辑模型， 将产生变化的业务逻辑模 型同步至其他面 向用户的分布式智能计算单 元中的近用户端逻辑层模块。权　利　要　求　书 1/2 页 2 CN 115098265 A 29.根据权利要求4所述的一种分布式计算任务负载分配处理系统， 所述寻址转译器模 块接收算法协同单元模块输入地址， 根据虚拟 内存地址进行解析， 获得大数据 处理中心内 存物理地址， 进行信息交互， 提高数据传输效率， 根据数据地址访问共享数据地址获取数 据。 10.根据权利要求4所述的一种分布式计算任务负载分配处理系统， 其特征在于， 开始 并初始化所述系统， 所述算法协同单元模块用于接收大数据处理中心传输的分解计算子任 务数据信息， 完成计算任务的分解， 将分解计算子任务数据信息发送到寻址转译器， 完成数 据分配； 根据解析地址获访问近用户端数据库， 并将数据传输给算法容器， 完成任务传输工作， 并通过所述算法协同单 元模块实施任务 监控； 所述算法协同单元模块接收大数据处理中心状态监控器指令， 对任务进行监控， 根据 指令开启、 暂停、 停止、 重启计算 服务； 所述算法协同单元模块监控算法容器计算执行状态， 完成算法容器执行计算， 其中所 述计算， 为人员与任务匹配 计算， 具体采用java 中封装的文本余弦相似度计算 算法； 计算完成后， 对中间结果进行保存， 采取计算归并， 然后后， 将计算输出结果保存至近 用户端数据库并将计算结束状态与数据存储地址反馈给大数据 处理中心， 最后结束系统， 进入到开始阶段。 11.一种计算机可读存储介质， 其特征在于， 所述存储介质用于使所述计算机执行根据 权利要求 4‑10中任一项所述的系统。权　利　要　求　书 2/2 页 3 CN 115098265 A 3