(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221014217 7.X (22)申请日 2022.02.16 (71)申请人 北京九栖科技有限责任公司 地址 100083 北京市海淀区创业中路3 6号4 层404室 (72)发明人 周模　戴帅夫　刘丙双　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 崔自京 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/25(2019.01) G06F 9/445(2018.01) (54)发明名称 用于大数据平台实时状态计算的方法、 服务 器及存储介质 (57)摘要 本发明公开了一种用于大数据平台实时状 态计算的方法、 服务器及存储介质， 本发明通过 一套通用的实时订阅程序的框架， 降低基于状态 数据处理的难度。 该框架分为两层， 第一层的框 架负责通用的数据订阅和处理， 第二层框架负责 状态的处理和分发， 这样双层的框架设计使 得最 终的业务插件只需要负责处理状态数据的更新 逻辑和基于状态和输入数据的业务数据输出即 可。 二级插件的设置使 得在大数据处理中对基于 状态的数据处理这一较为复杂的业务逻辑大幅 度简化， 相关的开发只需要实现这一过程中的几 个步骤即可， 而通用的操作均交由两层的框架来 实现。 权利要求书1页 说明书4页 附图1页 CN 114510471 A 2022.05.17 CN 114510471 A 1.一种用于大 数据平台实时状态计算的方法， 其特 征在于， 包括以下步骤： 步骤1： 实时订阅程序框架从数据总线上实时订阅数据， 对数据进行反序列化解码获得 解码数据， 并且为 一级插件提供数据处理接口， 向所述 一级插件传输所述 解码数据； 步骤2： 所述一级插件将所述解码数据进行数据清洗， 处理后的结果数据提交给二级插 件框架； 步骤3： 所述二级插件框架中的二级插件对处理后的结果数据进行重分布， 同时所述二 级插件框架为状态数据更新 提供基础接口； 步骤4： 所述二级插件完成内部状态数据的更新， 并输出业务数据， 将所述业务数据传 输至所述一级插件； 步骤5： 所述一级插件将所述业务数据传输至所述实时订阅程序框架， 由所述实时订 阅 程序框架将所述 业务数据输出至大 数据平台。 2.根据权利要求1所述的用于大数据平台实时状态计算的方法， 其特征在于， 步骤1中 所述实时订阅程序框架接入的数据从任意数据分析平台获取。 3.根据权利要求1所述的用于大数据平台实时状态计算的方法， 其特征在于， 步骤2中 所述一级插件和所述实时订阅程序框架具有固定 接口， 所述 一级插件用于数据分析。 4.根据权利要求1所述的用于大数据平台实时状态计算的方法， 其特征在于， 步骤3中 所述二级插件框架与所述 一级插件具有同一 性。 5.根据权利要求1所述的用于大数据平台实时状态计算的方法， 其特征在于， 步骤4中 所述二级插件和所述二级插件框架之 间具有固定接口， 所述二级插件用于带状态的数据分 析业务。 6.一种服务器， 其特征在于， 包括存储器和 处理器， 所述存储器存储计算机程序， 所述 计算机程序被配置为由所述处理器执行， 所述计算机程序包括用于执行权利要求1至5任一 所述方法中各步骤的指令 。 7.一种计算机可读存储介质， 其特征在于， 存储一计算机程序， 所述计算机程序包括用 于执行权利要求1至 5任一所述方法中各步骤的指令 。权　利　要　求　书 1/1 页 2 CN 114510471 A 2用于大数据平台实时状态计算的方 法、 服务器及存 储介质 技术领域 [0001]本发明涉及大数据分析处理技术领域， 更具体的说是涉及一种用于大数据平台实 时状态计算的方法、 服 务器及存 储介质。 背景技术 [0002]目前， 在大数据处理中， 实时数据处理是很重要的一部分， 目前开源的计算框架能 够提供分布式执行的便利， 但是对于 常规的数据接入， 订阅， 解码等过程仍然需要自己编写 代码， 这一部分的工作往往是重复性的工作， 因此需要将通用的部分进一步提取用于减少 重复的工作量， 对于相对固定的场景和体系结构设计， 数据接入， 订阅和解码这一部 分工作 是可以固定下来的。 [0003]在开源的计算框架之上将数据接入， 订阅和解码这一部分工作 固定下来之后， 可 以在此之上搭建一层和业务相关的处理框架， 在这层框架之上暴露一些接口， 以插件的形 式在这之上开发业务代码， 这一类常规的框架开发工作相对而言比较直观。 基于这类框架 开发的一级插件只需要完成数据处理的逻辑即可， 这类插件可以执行大部 分基于规则的数 据清洗ETL一类的工作， 因为每一批 输出数据仅仅由输入数据来决定 。 [0004]而在一类更复杂的基于状态的业务场景中， 上述的一级框架就不足以实现相关的 需求了。 基于状态的数据 处理指的是输出数据取决于输入数据和当前 的状态， 也就是说 同 样的输入数据在不同的情况下输出数据不一定相同， 同时输入数据除了影响输出数据之 外， 也会更新状态。 面对这样的业 务场景时， 我们需要功能更加完 善的开发框架。 [0005]因此， 如何提高基于状态的大数据处理业务的开发便利性是本领域技术人员亟需 解决的问题。 发明内容 [0006]有鉴于此， 本发明提供了一种用于大数据平台实时状态计算的方法， 是一种分层 次的框架， 即双层的框架， 其中顶层的框架为二级插件框架， 解决的是状态的处理问题， 和 底层的一级插件框架配合共同解决基于状态的大数据处理业务的开 发便利性问题， 通过一 套通用的实时订阅程序的框架， 降低基于状态数据 处理的难度。 该框架的第一层的框架负 责通用的数据订阅和处理， 第二层框架负责状态的处理和分发， 这样双层的框架设计使得 最终的业务插件只需要负责处理状态数据的更新逻辑和基于状态和输入数据的业务数据 输出即可。 二级插件的设置使得在大数据处理中对基于状态的数据处理这一较为复杂的业 务逻辑大幅度简化， 相关的开发只需要实现这一过程中的几个步骤即可， 而通用的操作均 交由两层的框架来实现。 [0007]为了实现上述目的， 本发明采用如下技 术方案： [0008]本发明提供一种用于大 数据平台实时状态计算的方法， 包括： [0009]步骤1： 实时订阅程序框架从数据总线上实时订阅数据， 按照统一的要求对数据进 行反序列化解码获得解码数据， 并且为一级插件提供数据 处理接口， 向所述一级插件传输说　明　书 1/4 页 3 CN 114510471 A 3