TGPO：树导引的偏好优化用于稳健的网络代理强化学习

于红博

摘要: 随着大型语言模型和视觉-语言模型的快速发展，将大型模型用作网络代理对于自动化网络交互变得至关重要。然而，使用强化学习训练网络代理面临着一些关键挑战，包括信用分配错误、注释成本高昂以及奖励稀疏。为了解决这些问题，我们提出了Tree-Guided Preference Optimization（TGPO），这是一个离线强化学习框架，提出了一种树形轨迹表示法，合并跨轨迹的语义相同状态，以消除标签冲突。我们的框架还包括一个过程奖励模型，通过子目标进展、冗余检测和动作验证自动生成细粒度奖励。此外，一个动态加权机制在训练过程中优先考虑高影响决策点。对Online-Mind2Web和我们自行构建的C-WebShop数据集的实验表明，TGPO明显优于现有方法，在更少的冗余步骤中实现更高的成功率。

更新时间: 2025-09-19 02:13:09

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2509.14172v2