(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210734752.5 (22)申请日 2022.06.27 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 张荣庆　魏智伟　 (74)专利代理 机构 北京市诚辉律师事务所 11430 专利代理师 耿慧敏　朱伟军 (51)Int.Cl. G06Q 30/02(2012.01) G06Q 10/06(2012.01) G06F 9/445(2018.01) G06F 9/48(2006.01) G06F 9/50(2006.01) (54)发明名称 一种基于多智能体强化学习的车辆协作雾 计算系统 (57)摘要 本发明公开一种基于多智能体深度强化学 习的车辆协作计算系统。 该系统包括远程服务器 所处的云层、 本地雾服务器所处的小云朵层以及 车辆所处的雾层。 在该系统中， 本地雾服务器的 区域内部构建车对车的计算资源购买架构、 不同 的车辆间形成联盟进行协同计算和 信息传输、 联 盟与本地雾服务器间进行任务交付与信息传输、 本地雾服务器根据区域内部的计算资源供需进 行资源定价与资源买卖、 车辆根据激励机制和自 身状态应用多智能体深度强化学习算法最大化 自身收益来采取资源买卖策略。 利用本发明， 车 辆在满足自身意愿前提下以较低的复杂度在不 同路况环境形成稳定的协作联盟进行计算资源 共享和任务卸载， 有效提升了边缘雾节点的任务 完成率和计算能力。 权利要求书2页 说明书9页 附图5页 CN 115099858 A 2022.09.23 CN 115099858 A 1.一种基于多智能体强化学习的车辆协作雾计算系统， 该系统包括远程服务器所位于 的云层、 本地雾服 务器所位于的小云朵层以及车辆节点所位于的雾层， 其特 征在于： 本地雾服务器作为资源零售商给出面向服务 区内部的单位计算资源买卖价格， 并控制 进行服务区内部任务分配以及跨 服务区的任务 转接； 车辆节点根据本地雾服务器公布的范围内的车辆信 息形成协作联盟， 在协作联盟 内部 进行计算资源的交易和计算任务卸载； 各协作联盟的首领车辆向本地雾服务器反馈联盟的状态信 息， 并由本地雾服务器广播 至服务区域内所有车辆， 辅助车辆节点进行交易行为决策； 协作联盟内部车辆通过中间市场价格定价机制达成一致的联盟内单位计算资源买卖 成交价格， 基于所达成的价格进行计算资源买卖； 并针对协作联盟内过剩的计算资源供应 或请求， 面向本地雾服 务器进行计算资源的买卖。 2.根据权利要求1所述的系统， 其特征在于， 所述协作联盟基于联盟博弈理论构建， 每 个协作联盟根据其内部车辆的能力， 评有相应的效用值， 该效用值反映协作联盟内部车辆 节点相较于直接与本地雾服务器进行 交易所能获得的收益增量， 每个车辆节点基于激励机 制估算加入每个协作联盟所能获得的收益， 并通过采取加入候选协作联盟或退出现有协作 联盟的行为， 使自身所能得到的收益 最大化。 3.根据权利要求1所述的系统， 其特征在于， 对于所述雾层内的车辆节点， 将车辆节点 之间的计算资源交易问题建模成部分可观察的马尔可夫决策过程， 以车辆节点作为智能 体， 通过各智能体独立地观察环境信息， 学习目前场景状态下最佳的资源交易行为策略， 以 对车辆节点协作计算问题进行基于个 体的收益 最大化， 并进行全局效益优化。 4.根据权利要求1所述的系统， 其特征在于， 在所述协作联盟内部， 车辆根据计算资源 与货币的相对需求意愿， 自主决定交易数量， 并通过协作方式共同决定交易单位价格， 进而 在满足双方 供需意愿的前提下进行计算资源与计算需求的双边匹配。 5.根据权利要求1所述的系统， 其特征在于， 所述协作 联盟内部根据本地雾服务器提供 的市场价格达成一致的单位计算资源买卖价格， 在协作联盟内部进行计算资源交易， 并且 车辆节点被视作理性节点， 所支 付的资源买入价格不高于本地雾服务器提供的单位计算资 源卖出价， 所 标明的计算资源出售价格不低于 本地雾服 务器提供的单位计算资源购买价。 6.根据权利要求3所述的系统， 其特征在于， 所述环境信息受到多方智能体共 同作用， 各智能体观测的环境是全局环境的真子集， 并且所有智能体所观测的环境的并集等同于全 局环境。 7.根据权利要求4所述的系统， 其特征在于， 车辆节点在每一个时间片内自主自愿地决 定是否进行资源买卖行为， 并且该 行为具备时序连续 性。 8.根据权利要求3所述的系统， 其特征在于， 各智能体观察的所述环境信 息包括通信信 道状态信息， 相应服 务区域内部车辆计算资源信息， 本地雾服 务器历史买卖价格信息 。 9.根据权利要 求1所述的系统， 其特征在于， 对于协作联盟Ck， 将其内部 单位计算 资源买 卖价格设置为： 如果Dk＝Sk， 则 权　利　要　求　书 1/2 页 2 CN 115099858 A 2如果Dk<Sk， 则 如果Dk＝Sk， 则 其中， Dk是联盟内部总体计算 资源需求为Dk， Sk是总体计算资源供应， pb是本地雾服务器 提供的单位资源购买价格， ps是单位资源出售价格， 和 分别是联盟Ck内部单位资源买、 卖价格。 10.根据权利要求7所述的系统， 其特征在于， 提供计算资源的服务车辆通过完成计算 任务获得货币， 请求计算资源的任务车辆通过花费货币获取计算服务； 在每一个时间片中， 不同车辆只能对计算资源进行设定数量的买卖操作， 并且该买卖操作保证后续一段时间内 计算资源的归属权转移至买方， 由卖方提供计算服务来完成买方发布的计算任务； 每一次 计算资源交易数量限制在设定范围区间内。权　利　要　求　书 2/2 页 3 CN 115099858 A 3