(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111501129.7 (22)申请日 2021.12.09 (71)申请人 武汉长江通信 智联技术有限公司 地址 430074 湖北省武汉市东湖开发区关 东工业园文华路2号3幢4层研发大楼 (72)发明人 巴继东　涂来　黄莹　黄琛　 胡志华　 (74)专利代理 机构 武汉天领众智专利代理事务 所(普通合伙) 42300 专利代理师 陈三九 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 10/06(2012.01) G06Q 50/30(2012.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06N 3/12(2006.01) (54)发明名称 融合深度强化学习和遗传算法的短程支线 航班调度方法 (57)摘要 本发明公开了融合深度强化学习和遗传算 法的短程支线航班调度方法， DRL模块利用编码 器提取数据在高维空间的特征表达， 解码器则根 据规则和概率选择路径， 最后使用强化学习的训 练方法更新参数； 训练并迭代了足够多次网络参 数后， 测试数据能通过网络计算得到一系 列强大 的“初始解”将“初始解”所组成的“种群”将作为 输入传入遗传算法得到最终解。 本发明有益效 果： 本发明深度强化学习完成了从问题输入到问 题输出的端到端的求解方案， 具有良好的泛化 性； 局部搜索容易陷入局部最优陷阱， 依靠DRL提 供的好的初始种群可以辅助搜索过程跳出 “局 优”； 对于一定规模的问题， 神经网络只需一次预 训练， 求解时响应速度快， 提高搜索效率， 减少搜 索空间和时间。 权利要求书2页 说明书9页 附图2页 CN 114462664 A 2022.05.10 CN 114462664 A 1.融合深度强化学习和遗传算法的短程支线航班调度方法， 其特征在于： 其方法步骤 为： DRL模块： DRL模块利用编码器提取数据在高维空间的特征表达， 解码器则根据规则和 概率选择路径， 最后使用强化学习的训练方法更新 参数； 局部搜索模块： 训练并迭代了足够多次网络参数后， 测试数据能通过网络计算得到一 系列强大的 “初始解”将“初始解”所组成的“种群”将作为输入传入遗传算法得到最终解。 2.如权利要求1所述的融合深度强化学习和遗传算法的短程支线航班调度方法， 其特 征在于： 所述DRL模块包括编码器、 解码器和基于贪心策略训练DRL模块。 3.如权利要求2所述的融合深度强化学习和遗传算法的短程支线航班调度方法， 其特 征在于： 所述编码器的映射状态步骤为： (1)初始化节点嵌入； (2)注意力机制计算， 将注意力机制视为一个寻址的过程， 其计算过程为： 信息的输入； 其次是算出注意力分布α； 最后是通过α 计算输入信息的加权平均值； (3)批标准化处理基于上述步骤的编码器神经网络， 使用批标准化方法， 用mini ‑batch 来训练网络； (4)前馈神经网络， 利用一个全连接的前馈网络进一 步提高网络的表达能力。 4.如权利要求2所述的融合深度强化学习和遗传算法的短程支线航班调度方法， 其特 征在于： 所述 解码器的设计步骤为： 计算上 下文嵌入和计算对数概 率。 5.如权利要求2所述的融合深度强化学习和遗传算法的短程支线航班调度方法， 其特 征在于： 其中基于贪心策略训练DRL模块的训练方法步骤为： (1)对两个网络进行随机初始化， 并设置相同的参数； (2)随机从batc h中选取一个实例Gi； (3)用随时更新最新参数的网络θ对实例Gi做输出序列的预测， 这里会使用一个超参数 ε 控制蒙特卡洛采样法的采样方式， 这样做的好处是能够让算法有一定的探索环境的能力； 此步能得到一个解序列 πi； (4)用仍使用旧有参数的网络θBL对相同的实例做同样的预测， 与(3)不同的是此时选择 贪心的方式采样， 即选择预测序列中输出概率最高的节点。 此步又能得到一个局部最优解 序列 (5)依照公式通过两个序列算出梯度信息； (6)利用Adam优化器 配合梯度信息更新网络θ 的参数； (7)对两个概率分布 和pθ各采样一万份， 使用一个单边配对T检验， 只有该检验结果 有明显提升， 即当差异阈值达到α ＝5％时再更新网络参数； 若基准线 策略被更新， 则采样新 的评估实例。 6.如权利要求2所述的融合深度强化学习和遗传算法的短程支线航班调度方法， 其特 征在于： 遗传算法模块的方法步骤为： 种群初始化过程是将问题的解编码成字符串， 本发明的 初始种群由深度强化学习部分输出， 已经完成相关编码； 遗传算法根据策略评估个体的适 应度， 留下适应度高的， 淘汰适应度低的个体， 通过交叉互换和变异等操作添加了一些扰权　利　要　求　书 1/2 页 2 CN 114462664 A 2动， 帮助算法探索解空间， 适当跳出局部最优解。权　利　要　求　书 2/2 页 3 CN 114462664 A 3