(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111499805.1 (22)申请日 2021.12.09 (71)申请人 浙江百世技 术有限公司 地址 310000 浙江省杭州市滨江区江南大 道3850号3楼307室 (72)发明人 陈沛林　周羽勍　龚鑫　 (74)专利代理 机构 杭州信与义专利代理有限公 司 33450 代理人 丁浩 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 10/06(2012.01) G06Q 10/08(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06N 20/00(2019.01) (54)发明名称 基于梯度提升决策树和神经网络的货量预 测方法及系统 (57)摘要 本发明公开了一种基于梯度提升决策树和 神经网络的货量预测方法及系统， 属于货量预测 技术领域。 该方法步骤包括： S1， 将获取的特征数 据X通过预先训练的梯度提升决策树模型T构造 其在每棵决策树上的叶子节点特征； S2， 使用叶 子节点特征替换掉特征数据X中的高维类别特征 后， 得到特征数据X ′； S3， 将特征数据X ′输入到预 先训练的神经网络模型M中进行货量预测， 并输 出预测结果。 本发明在数据输入端使用梯度提升 决策树模型直接处理高维类别特征并进行特征 组合， 在输出端利用神经网络模 型捕捉特征数据 与货量间的复杂数量关系， 克服了现有技术中对 高维类别特征进行独热编码产生的数据稀疏导 致模型的货量预测不够精准的问题。 权利要求书2页 说明书7页 附图5页 CN 114169612 A 2022.03.11 CN 114169612 A 1.一种基于梯度提升决策树和 神经网络的货量预测方法， 其特 征在于， 步骤 包括： S1， 将获取的特征数据X通过预先训练的梯度提升决策树模型T构造其在每棵决策树上 的叶子节点特 征； S2， 使用所述叶子节点特征替换掉所述特征数据X中的高维类别特征后， 得到特征数据 X′； S3， 将所述特征数据X ′输入到预先训练的神经网络模型M中进行货量预测， 并输出预测 结果。 2.根据权利要求1所述的基于梯度提升决策树和神经网络的货量预测方法， 其特征在 于， 所述特征数据X包括货运当日 的天气情况、 是否节假日的特征数据以及所述高维类别特 征。 3.根据权利要求1所述的基于梯度提升决策树和神经网络的货量预测方法， 其特征在 于， 所述高维类别特 征包括始发转 运中心的特 征数据和目的转 运中心的特 征数据。 4.根据权利要求1所述的基于梯度提升决策树和神经网络的货量预测方法， 其特征在 于， 训练所述神经网络模型M的方法步骤 包括： S31， 将历史N天中的所述特征数据X以及X对应的实际货量数据Y划分为训练集和验证 集， 所述训练集中的所述特征数据X以及X对应的实际货 量数据Y分别记为Xtrain、 Ytrain； 所述 验证集中的特 征数据X以及X对应的实际货量数据Y分别记为Xvalid、 Yvalid； S32， 将Xtrain、 Xvalid中的所有样本通过所述梯度提升决策树模型T构造每个样本在每棵 决策树上的叶子节点特 征； S33， 使用高维类别特征对应的所述叶子节点特征替换掉Xtrain、 Xvalid中对应的所述高维 类别特征， 分别得到X ′train、 X′valid； S34， 以X′train和Ytrain为训练样本， 训练形成所述神经网络模型M； S35， 将X′valid输入到所述 神经网络模型M中， 模型M预测输出X ′valid对应的货量预测值 S36， 根据X ′valid对应的Yvalid和所述货量 预测值 计算模型M的预测误差， 并判断预测误 差是否小于预设的误差阈值， 若是， 则终止对所述神经网络模型M的迭代训练， 输出 所述神经网络模型M； 若否， 则调整所述神经网络模型M的训练参数， 并返回步骤S34继续对所述神经网络模 型M进行迭代训练。 5.根据权利要求4所述的基于梯度提升决策树和神经网络的货量预测系统， 其特征在 于， N＝800。 6.根据权利要求4或5所述的基于梯度提升决策树和神经网络的货量预测系统， 其特征 在于， 选择历史N 天中的N′天的所述特征数据X以及X分别对应的货量数据Y作为所述神经网 络模型M的验证集， 0.0 5N≤N′≤0.1N。 7.一种基于梯度提升决策树和神经网络的货量预测系统， 可实现如权利要求1 ‑4任意 一项所述的货量预测方法， 其特 征在于， 所述货量预测系统包括： 叶子节点特征构造模块， 用于将获取的特征数据X通过预先训练的梯度提升决策树模 型T构造其在每棵决策树上的叶子节点特 征； 特征替换模块， 连接所述叶子节点特征构造模块， 用于使用所述叶子节点特征替换掉权　利　要　求　书 1/2 页 2 CN 114169612 A 2所述特征数据X中对应的高维类别特 征后， 得到特 征数据X′并输出 货量预测模块， 连接所述特征替换模块， 用于将所述特征替换模块输出的所述特征数 据X′输入到预 先训练的神经网络模型M中进行货量预测， 并输出 预测结果。 8.根据权利要求7所述的一种基于梯度提升决策树和神经网络的货量预测系统， 其特 征在于， 所述货量预测系统还 包括： 模型训练模块， 用于以特征数据X ′和X′对应的实际货量数据Y为训练样本， 训练形成所 述神经网络模型M， 所述模型训练模块中具体包括： 样本集划分单元， 用于将获取的历史N天中的所述特征数据X以及X对应的实际货量数 据Y划分为训练集和验证集， 所述训练集中的所述特征数据X以及X对应的实际货量数据Y 分 别记为Xtrain、 Ytrain； 所述验证集中的特征数据X以及X对应的实际货量数据Y分别记为所 Xvalid、 Yvalid； 叶子节点特征构造单元， 连接所述样本集划分单元， 用于将Xtrain、 Xvalid中的所有样本通 过所述梯度提升决策树模型T构造每 个样本在每棵决策树上的叶子节点特 征； 特征替换单元， 连接所述叶子节点特征构造单元和所述样本集划分单元， 用于使用所 述叶子节点特 征替换掉Xtrain、 Xvalid中对应的所述高维类别特 征， 分别得到X ′train、 X′valid； 模型训练单元， 连接所述特征替换单元， 用于以X ′train和Ytrain为训练样本， 训练形成所 述神经网络模型M； 模型性能验证单元， 连接所述模型训练单元和所述特征替换单元， 用于将X ′valid输入到 所述神经网络模型M中， 所述神经网络模模型M预测输出X ′valid对应的货量预测值 并根据 X′valid对应的Tvalid和所述货量预测值 计算所述神 经网络模型M的预测误差， 然后判断预 测误差是否小于预设的误差阈值， 若是， 则向所述模型训练单元发送终止模型迭代训练指令， 所述模型训练单元接收到 指令后终止对所述神经网络模型M的迭代训练； 若否， 则向所述模型训练单元发送继续迭代训练指令， 所述模型训练单元接收到指令 后根据调整的模型训练参数， 以X ′train和Ytrain为训练样本， 继续迭代训练所述神经网络模 型M。权　利　要　求　书 2/2 页 3 CN 114169612 A 3