(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210802825.X (22)申请日 2022.07.07 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 秦利　姬厚召　陈明豪　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 张建 (51)Int.Cl. B25J 9/16(2006.01) B25J 9/00(2006.01) (54)发明名称 一种具有平衡辅助功能的下肢外骨骼康复 机器人控制方法 (57)摘要 本发明提供一种具有平衡辅助功能的下肢 外骨骼康复机器人控制方法， 属于下肢外骨骼康 复机器人控制领域。 该方法包括： 使用任意的物 理引擎建立人与机器人交互的仿真环 境； 通过强 化学习算法， 在仿真环境中完成所设计的平衡编 码模型和动作生成模型的训练， 其中， 奖励函数 包含平衡项； 利用动作生成模型生成数据集； 建 立平衡预测模 型， 与动作生 成模型组成步态生成 网络， 使用上述数据集， 通过模仿学习算法训练 步态生成网络； 训练完毕的步态 生成网络用于输 出机器人各关节电机的速度期望值， 结合电机伺 服驱动控制器实现机器人的控制。 步态生成网络 可以在无附加传感器的条件下预测机器人的状 态， 使控制器能及时校正系统的不平衡倾向。 权利要求书2页 说明书7页 附图2页 CN 115157247 A 2022.10.11 CN 115157247 A 1.一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法， 其特征在于， 包括如下 步骤： 使用任意的物理引擎建立人与机器人交 互的仿真环境； 通过强化学习算法， 在仿真环境中完成所设计的平衡编码模型和动作生成模型的训 练， 其中， 奖励函数包 含平衡项； 利用动作生成模型生成数据集； 建立平衡预测模型， 与动作生成模型组成步态生成网络， 使用上述数据集， 通过模仿学 习算法训练步态生成网络； 训练完毕的步态生成网络用于输出机器人各关节电机的速度期望值， 结合电机伺服驱 动控制器实现机器人的控制。 2.根据权利要求1所述的一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法， 其特征在于： 所述使用任意的物理引擎建立人与机器人交 互的仿真环境具体为： 所述仿真环境包 含下肢外骨骼 康复机器人模型和下肢外骨骼 康复机器人外 部环境； 所述仿真环境可提供实时的所述机器人模型的双腿膝、 髋 关节状态值和平衡状态相关 信息， 包括： 质心的位置、 速度、 加速度、 重心的位置和速度。 3.根据权利要求1所述的一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法， 其特征在于： 所述通过强化学习算法， 在仿真环境中完成所设计的平衡编码模型和动作生 成模型的训练， 其中， 奖励函数包 含平衡项具体为： 所述平衡项奖励函数为任意 一种可判断下肢外骨骼 康复机器人平衡程度的数 学模型； 所述强化学习算法的状态 空间包括平衡状态 空间和关节状态 空间， 所述强化学习算法 的动作空间为所述仿真环境中机器人模型 各关节电机的速度期望值； 所述仿真环境中机器人模型的输入是所述动作生成模型的输出， 即强化学习算法的动 作空间值； 所述平衡编码模型 的输入是所述平衡状态空间值， 所述动作生成模型 的输入是 所述平衡编码模型的输出和所述关节状态空间值； 所述平衡编码模型和所述动作生成模型的权 重和偏置参数根据其获得的奖励值更新。 4.根据权利要求3所述的一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法， 其特征在于： 所述强化学习算法的状态空间包括平衡状态空间和关节状态空间， 所述强化 学习算法的动作空间为所述仿真环境中机器人模型 各关节电机的速度期望值具体为： 所述平衡状态空间包括来自所述机器人模型多个平衡相关的状态信息， 包括： 质心位 置、 速度、 加速度， 重心的位置、 速度； 所述关节状态空间包括机器人模型的双腿膝、 髋关节 的实时位置、 速度、 加速度信息 。 5.根据权利要求1所述的一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法， 其特征在于： 所述利用动作生成模型生成数据集具体为： 所述数据集由动作生成模型的输入和输出组成， 动作生成模型的输入为所述关节状态 空间值和该关节状态空间值对应时刻的平衡编 码模型的输出， 动作生成模 型的输出为该关 节状态空间值对应的动作空间值。 6.根据权利要求1所述的一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法， 其特征在于： 所述建立平衡预测模型， 与动作生成模型组成步态生成网络， 使用上述数据 集， 通过模仿学习算法训练步态生成网络具体为：权　利　要　求　书 1/2 页 2 CN 115157247 A 2所述平衡预测模型为时间卷积网络； 所述数据集的特征为数据集内关节状态 空间值， 特征的标签为该关节状态 空间值对应 的平衡编码模型的输出值和动作空间值； 所述步态生成网络 中平衡预测模型与动作生成模型通过全连接层连接， 通过模仿学习 算法更新所述平衡预测模型的权重和偏置参数， 实现所述步态生成网络中平衡预测模型的 输出值模仿所述数据集中平衡编码模型输出值， 所述步态生成网络中动作生成模型的输出 值模仿所述数据集中动作生成模型的输出值。 7.根据权利要求6所述的一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法， 其特征在于： 所述步态生成网络中平衡预测模型与动作生成模型通过全连接层连接， 利用 模仿学习算法更新所述平衡预测模型的权重和偏置参数， 实现所述步态生成网络中平衡预 测模型的输出值模仿所述数据集中平衡编 码模型输出值， 所述步态生成网络中动作生成模 型的输出值模仿所述数据集中动作生成模型的输出值具体为： 所述平衡预测模型第t个输入特征为t之后N个时间连续关节状态空间值， 其中N为预设 的时间卷积网络输入的历史特征个数， 所述动作生成模型第t个输入特征为第(t+N ‑1)个关 节状态空间值和平衡预测模型的输出值； 所述平衡预测模型的权重和偏置参数用随机梯度 下降算法更新， 参数更新的步长和方 向由随机梯度下降算法的损失函数确定 。 8.根据权利要求7所述的一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法， 其特征在于： 所述平衡预测模型 的权重和偏置参数用随机梯度下降算法更新， 参数更新的 步长和方向由随机梯度下降算法的损失函数确定具体为： 所述损失函数如下： L＝(au(t+29)‑alt)2+(bu(t+29)‑blt)2 其中， t表示数据集中特征值对应的序号， au(t+29)和bu(t+29)是第t个特征值对应的标签： 数据集中 的动作生成模型的输出值和平衡编码模型的输出值， alt和blt是以第t个特征值为 输入时步态生成网络中的动作生成模型输出值和平衡预测模型的输出值。 9.根据权利要求1所述的一种具有平衡辅助功能的下肢外骨骼康复机器人控制方法， 其特征在于： 所述训练完毕的步态生成网络用于输出机器人各关节电机的速度期望值， 结 合电机伺服驱动控制器实现机器人的控制具体为： 训练完毕的步态生成网络与真实下肢外骨骼康复机器人系统交互， 形成步态闭环循 环， 所述步态闭环循环包括将下肢外骨骼康复机器人关节状态空间值输入到步态生成网 络， 步态生成网络输出下肢外骨骼康复机器人各关节电机的速度期望值， 电机伺服驱动控 制器执行速度期望值， 下肢外骨骼康复机器人 的关节状态空间值更新， 该步态闭环循环使 下肢外骨骼 康复机器人平衡、 稳定的行 走。权　利　要　求　书 2/2 页 3 CN 115157247 A 3