(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210724453.3 (22)申请日 2022.06.24 (71)申请人 天翼爱音乐文化科技有限公司 地址 510060 广东省广州市中山 二路18号 电信广场19 楼 (72)发明人 骆延楠　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 陈嘉乐 (51)Int.Cl. G06F 9/50(2006.01) G06F 11/30(2006.01) (54)发明名称 一种动态调控的日志采集、 处理方法、 装置 及存储介质 (57)摘要 本发明公开了一种动态调控的日志采集、 处 理方法、 装置及存储介质， 方法包括： 根据预配置 的待采集的数据源形式以及数据源格式， 收集新 的日志数据； 对所述新的日志数据进行预处理， 得到目标日志数据； 根据预配置信息， 对所述目 标日志数据进行调度分发； 将所述目标日志数据 发送到目标位置； 实时获取目标 终端的数据处理 速率信息， 根据所述数据处理速率信息对日志采 集处理动作进行动态平衡。 本发 明的稳定性高且 处理效率高， 能够降低负载压力， 可广泛应用于 数据处理技术领域。 权利要求书2页 说明书9页 附图1页 CN 115168030 A 2022.10.11 CN 115168030 A 1.一种动态调控的日志采集、 处 理方法， 其特 征在于， 包括： 根据预配置的待采集的数据源形式以及数据源格式， 收集 新的日志数据； 对所述新的日志数据进行 预处理， 得到目标日志数据； 根据预配置信息， 对所述目标日志数据进行调度分发； 将所述目标日志数据发送到目标位置； 实时获取目标终端的数据处理速率信 息， 根据所述数据处理速率信 息对日志采集处理 动作进行动态 平衡。 2.根据权利要求1所述的一种动态调控的日志采集、 处理方法， 其特征在于， 所述根据 预配置的待采集的数据源形式以及数据源格式， 收集 新的日志数据， 包括： 预配置的待采集的数据源形式以及数据源格式； 根据预配置的数据源形式以及数据源格式， 通过监听约定的数据源， 进 而接收新数据； 并以每一行数据文件为最小单位将接收到的新数据封装成实体类， 将所述实体类作为 收集到的新的日志数据； 其中， 每个实体类中包含日志正文以及日志元 数据信息 。 3.根据权利要求2所述的一种动态调控的日志采集、 处理方法， 其特征在于， 所述根据 预配置的待采集的数据源 形式以及数据源格式， 收集新的日志数据， 还包括从Kafka集群消 费日志进行采集处 理的步骤， 具体包括： 对日志数据进行解析后， 更新当前时间窗口下生产速率计数器数值， 并根据抽样时间 频率T的周期向Back  Pressure  Monitor模块上报最新时间窗口的生产速率计数器数据， 然 后重置计数器数值； 获取Back  Pressure  Monitor反馈的建议生产速率， 在下一批次消息消费中， 根据所述 建议生产速率 来进行动态调整限制。 4.根据权利要求1所述的一种动态调控的日志采集、 处理方法， 其特征在于， 所述对所 述新的日志数据进行 预处理， 得到目标日志数据， 包括以下至少之一: 对所述日志数据中的冗余数据进行 过滤处理； 或者， 对所述日志数据中的附加信息进行清理 处理。 5.根据权利要求1所述的一种动态调控的日志采集、 处理方法， 其特征在于， 所述根据 预配置信息， 对所述目标日志数据进行调度分发， 包括： 获取Back Pressure  Monitor反馈的各个日志输出端线程 的建议处理速率， 计算各个 Sink的权重值； 以轮询调度权 重的方式来对数据流进行切分以及分区； 将重新分区好的数据流推送到Channel队列里面等待将所述目标日志数据发送到目标 位置。 6.根据权利要求1所述的一种动态调控的日志采集、 处理方法， 其特征在于， 所述将所 述目标日志数据发送到目标位置， 包括： 根据配置信息把日志写入到指定的目标地； 更新当前时间窗口下处理速率计数器数值， 并根据抽样时间频率T的周期向Back   Pressure Monitor模块上报最 新时间窗口 的处理速率计数器数据， 然后重 置计数器数值。 7.根据权利要求1所述的一种动态调控的日志采集、 处理方法， 其特征在于， 所述实时权　利　要　求　书 1/2 页 2 CN 115168030 A 2获取目标终端的数据处理速率信息， 根据所述数据处理速率信息对日志采集处理动作进 行 动态平衡， 包括： 获取Source端上报最新时间窗口的生产速率计数器数据并计算出当前时间窗口的生 产速率； 获取Sink端上报最新时间窗口的生产速率计数器数据并计算出当前时间窗口的处理 速率； 根据所述 生产速率和所述处 理速率， 计算当前阻塞率； 根据所述当前阻塞率， 计算当前建议的生产速率； 根据所述当前建议的生产速率以及所述当前时间窗口的处理速率， 对日志采集处理动 作进行动态 平衡。 8.一种动态调控的日志采集、 处 理装置， 其特 征在于， 包括： 日志源采集模块， 用于根据预配置的待采集的数据源形式以及数据源格式， 收集新的 日志数据； 日志预处 理模块， 用于对所述 新的日志数据进行 预处理， 得到目标日志数据； 日志采集选择器模块， 用于根据预配置信息， 对所述目标日志数据进行调度分发； 日志输出模块， 用于将所述目标日志数据发送到目标位置； 日志监控及调度模块， 用于实时获取目标终端的数据处理速率信息， 根据所述数据处 理速率信息对日志采集处 理动作进行动态 平衡。 9.一种电子设备， 其特 征在于， 包括处 理器以及存 储器； 所述存储器用于存 储程序； 所述处理器执行所述程序实现如权利要求1至7中任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有程序， 所述程序被处 理器执行实现如权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115168030 A 3