在非稳态环境中的样本有效经验重播

于红博

摘要: 在非稳态环境中进行强化学习（RL）是具有挑战性的，因为不断变化的动态和奖励会迅速使过去的经验过时。传统的经验重放（ER）方法，特别是那些使用TD-error优先级的方法，很难区分是由Agent政策引起的变化还是来自环境的变化，导致在动态条件下学习效率低下。为了解决这一挑战，我们提出了环境动态的差异（DoE），这是一个度量标准，可以隔离环境变化对价值函数的影响。基于此，我们引入了环境优先经验重放的差异（DEER），这是一个自适应的ER框架，根据策略更新和环境变化对转换进行优先级。DEER使用二进制分类器来检测环境变化，并在每次转变之前和之后应用不同的优先级策略，从而实现更加样本高效的学习。对四个非稳态基准上的实验表明，DEER相比最佳表现的最先进ER方法，进一步提高了离线策略算法的性能11.54％。

更新时间: 2025-09-18 14:57:09

领域: cs.LG,cs.AI,cs.NI

下载: http://arxiv.org/abs/2509.15032v1