四足动物的实时步态适应性：使用模型预测控制和强化学习

于红博

摘要: 无模型强化学习（RL）已经实现了适应性和灵活的四足动物运动；然而，策略通常会收敛到单一步态，导致性能不佳。传统上，模型预测控制（MPC）已被广泛用于获得任务特定的最佳策略，但缺乏适应不同环境的能力。为了解决这些限制，我们提出了一个优化框架，用于在连续步态空间中实现实时步态调整，将模型预测路径积分（MPPI）算法与Dreamer模块结合起来，为四足动物运动产生自适应和最佳策略。在每个时间步长，MPPI使用一个学习到的Dreamer奖励共同优化动作和步态变量，促进速度跟踪、能量效率、稳定性和平稳过渡，同时惩罚突然的步态变化。一个学习的价值函数被作为终端奖励并入，将公式扩展为一个无限时域规划器。我们在Unitree Go1模拟中评估了我们的框架，在不同目标速度下，能源消耗平均降低了高达36.48\%，同时保持准确跟踪和适应性、任务适当的步态。

更新时间: 2025-10-23 16:17:45

领域: cs.RO,cs.AI

下载: http://arxiv.org/abs/2510.20706v1