(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221017084 4.5 (22)申请日 2022.02.23 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 李云　陈治涵　 (74)专利代理 机构 重庆辉腾律师事务所 5 0215 专利代理师 王海军 (51)Int.Cl. G06F 9/445(2018.01) G06N 3/04(2006.01) G06N 3/08(2006.01) H04W 28/08(2009.01) (54)发明名称 移动边缘计算中一种根据用户移动模式计 算卸载的方法 (57)摘要 本发明属于移动通信技术和计算机技术领 域， 具体涉及移动边缘计算中一种根据用户移动 模式计算卸载的方法； 所述方法包括建立异构网 络中系统的通信模型； 根据用户在目前时隙以及 上一时隙分别与用户关联的MEC服务器位置坐 标； 计算出这两个MEC服务器坐标的距离； 并确定 出用户是否需要进行任务迁移； 根据用户关联前 后的MEC服务器坐标之间的距离， 分别计算出用 户体验质量和用户在移动模式下的延 迟成本； 将 用户体验质量和在移动模式下的延迟成本之间 的差值作为奖励， 利用改进后的深度强化学习 DQN算法优化用户体验质量总成本； 本发明能够 在事先不清楚用户的运动模式的情况下， 对用户 的任务做出迁移卸载决策， 具有很强的泛化能 力。 权利要求书3页 说明书7页 附图3页 CN 114564248 A 2022.05.31 CN 114564248 A 1.移动边缘计算中一种根据用户移动模式计算卸载的方法， 其特征在于， 包括以下步 骤： 在包含N个小基站和 1个宏基站的移动边缘网络中， 为每个宏基站周围配置一台MEC服 务器， 并建立异构网络中系统的通信模型； 根据各个小基站所在区域， 得到整个小基站群落的位置坐标集合， 并确定出小基站 的 最大有效服务范围； 并根据用户在不同时隙下 的移动模式， 得到目前时隙以及上一时隙分 别与用户关联的M EC服务器位置坐标； 按照不同时隙下与用户关联的MEC服务器位置坐标信息， 计算出这两个MEC服务器坐标 的距离， 从而建立系统的计算模型； 按照不同时隙下与用户关联的MEC服务器位置坐标信息以及任务服务的最大有效范 围， 确定出用户是否需要 进行任务迁移， 从而建立任务迁移和卸载模型； 根据用户关联前后的MEC服务器坐标之间的距离， 分别计算出用户体验质量和迁移延 迟成本； 根据用户与MEC服务器之间一跳的距离， 计算出用户的切换再连接延迟成本； 根据 迁移延迟成本和 切换再连接延迟成本， 计算出用户在移动模式下的延迟成本； 将用户体验质量和在移动模式下的延迟成本之间的差值作为奖励， 利用改进后的深度 强化学习DQ N算法优化用户体验质量总成本 。 2.根据权利要求1所述的移动边缘计算中一种根据用户移动模式计算卸载的方法， 其 特征在于， 所述异构网络中系统的通信模型包括每个MEC服务器的服务覆盖有效范围内为 周围用户提供算力来进行任务的卸载计算， 用户使用移动智能终端设备通过无线网络将任 务卸载到关联的MEC服务器； 每个MEC服务器通过一个高速回程链路连接宏基站， 宏基站周 围存在一个中央控制器， 负责决定移动模式下的移动智能终端设备的卸载决策。 3.根据权利要求1所述的移动边缘计算中一种根据用户移动模式计算卸载的方法， 其 特征在于， 所述系统的计算模型包括将小基站的位置坐标集 合定义为 小基站分散在各个小区周围， 小基站的最大有效服务范 围为B； 将时间离散化 在时隙t下， 一位用户驾驶智能车辆经过系统中构建 的小区， 智能车辆通过无线网络连接到最近的一个小基站， 假设此时用户关联的MEC服务器 的位置坐标点为(xc,yc)， 其中 表示用户始终在整个小区群落之间穿梭； 在这 之前， 智能车辆将其任务卸载到对应MEC服务器的位置坐标点为(xb,yb)， 其中 将用户此时关联的M EC服务器位置和原来所关联的M EC服务器之间的距离 定义为dt， 表示为 4.根据权利要求1所述的移动边缘计算中一种根据用户移动模式计算卸载的方法， 其 特征在于， 所述任务迁移和卸 载模型包括在某一时隙下， 智能车辆从一个位置坐标行驶离 开， 当经过一段时间后， 车辆脱离原本 关联的MEC服务器范围， 进入到另外一个MEC服务器的 服务覆盖范围内； 由于脱离了以前的MEC服务器， 导致车辆卸载在原MEC服务器上的任务计 算结果回传延迟增大， 用户体验质量下降， 此时中央控制器在了解MEC服务器和智能车辆的 情况后， 采用迁移决策将原MEC服务器上的任务 或计算结果迁移到现在与之关联的MEC服务 器上进行卸载计算， 从而降低延迟。权　利　要　求　书 1/3 页 2 CN 114564248 A 25.根据权利要求1所述的移动边缘计算中一种根据用户移动模式计算卸载的方法， 其 特征在于， 用户体验质量总成本的优化模型表示 为： s.t. 其中， 表示用户体验质量总成本； μq表示用户体验质量成本系数， μc表示延迟成本系数， μq∈[0,1]， μc∈[0,1]且 μq+ μc＝1； Qt表示在t时隙下的用户体验质量， qmax表示最优用户体验质量， 表示单位距离用户体验质量 的衰减系数， dt 表示在t时隙下用户当前关联的MEC服务器位置和前一时隙所关联的MEC服务器之间的距 离； 表示在t时隙下用户在移动模式下的延迟成本， 表示在t时隙下的用 户迁移延迟成本， h表示MEC服务器和用户之间一跳的距离； 表示在t时隙下 的用户的切换再连接延迟成本， 表示两个MEC服务器之间单位距离的迁移时延； T表示时隙数； 表示求期望， 式(6b)为在时隙下， 智能车辆的位置始终在某个MEC服务器 的服务范围内， bi表示第i个小基站的有效服务范围， N表示小基站个数， B为小基站的最大 有效服务范围； 式(6c)为在时隙下， 用户的体验质量 都应该大于一个用户体验质量的下限， Qmin表示最小用户体验质量； 式(6d)表 示为在时隙下， 延迟总成本都不能超 过用户最大容忍 延迟， Cmax表示用户在移动模式下的最大延迟成本 。 6.根据权利要求1所述的移动边缘计算中一种根据用户移动模式计算卸载的方法， 其 特征在于， 所述将用户体验质量和在移动模式下 的延迟成本之间的差值作为奖励， 利用改 进后的深度强化学习DQN算法优化用户体验质量总成本包括将系统模型中宏基站下的中央 控制器设计为代理， 通过所述代理收集系统中各个MEC服务器的信息状态， 包括用户智能车 辆所关联的MEC服务器的位置坐标， MEC服务器的计算任务量以及计算能力； 并根据根据智 能车辆的移动模式来做出任务迁移卸载动作， 将用户体验质量和在移动模式下的延迟成本 之间的差值作为奖励， 运行改进后的深度强化学习DQN算法计算出最优的任务迁移卸 载决 策。 7.根据权利要求1或6所述的移动 边缘计算中一种根据用户移动模式计算卸载的方法， 其特征在于， 所述奖励表示 为： 其中， Rt表示在t时隙下的奖励， μq和 μd分别表示用户体验质量权重系数和延迟成本权 重系数， μq∈[0,1]， μd∈[0,1]且 μq+ μd＝1； 当执行不迁移的动作时， 那么就没有用户转换再 连接的延迟和任务迁移延迟， 相应的延迟成本权重系数也就为0， 那么此时用户体验质量权 重系数则为 1， Qt表示在t时隙下的用户体验质量成本， 表示在t时隙下用户在移动模式下权　利　要　求　书 2/3 页 3 CN 114564248 A 3