一个用于2D射击游戏的强化学习代理

于红博

摘要: 强化学习代理在复杂的游戏环境中经常面临奖励稀疏、训练不稳定和样本效率低的问题。本文提出了一种混合训练方法，将离线模仿学习与在线强化学习相结合，用于一个2D射击游戏代理。我们实现了一个多头神经网络，其中包含用于行为克隆和Q学习的独立输出，通过共享特征提取层和注意机制统一。最初使用纯深度Q网络的实验表现出显著的不稳定性，代理经常回到较差的策略，尽管偶尔表现良好。为了解决这个问题，我们开发了一种混合方法，从基于规则的代理的演示数据开始进行行为克隆，然后过渡到强化学习。我们的混合方法在与基于规则的对手对战时始终达到70%以上的胜率，明显优于纯强化学习方法，后者表现出高方差和频繁的性能下降。多头架构实现了学习模式之间的有效知识传递，同时保持训练稳定性。结果表明，结合基于演示的初始化和强化学习优化提供了在复杂的多代理环境中开发游戏AI代理的稳健解决方案，纯探索证明不足够。

更新时间: 2025-09-18 15:07:41

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2509.15042v1