受网络约束的自适应多智能体车辆路径规划的政策优化

于红博

摘要: 城市道路网络中的交通拥堵导致行程时间延长和排放增加，尤其是在高峰时段。虽然最短路径优先（SPF）算法在静态网络中对单个车辆是最优的，但在动态、多车辆环境下表现不佳，通常通过将所有车辆沿着相同路径引导来加剧拥堵。我们通过多智能体强化学习（MARL）框架来解决动态车辆路由问题，实现协调的、网络感知的车队导航。我们首先提出了自适应导航（AN），这是一个分散的MARL模型，每个十字路口代理根据（i）本地交通情况和（ii）使用图注意力网络（GAT）建模的邻域状态提供路由指导。为了提高大型网络中的可扩展性，我们进一步提出了基于层次枢纽的自适应导航（HHAN），这是AN的一个扩展，仅将代理指派给关键十字路口（枢纽）。车辆在代理控制下从枢纽到枢纽进行路由，而SPF处理每个枢纽区域内的微路由。对于枢纽协调，HHAN采用了在关注Q-Mixing（A-QMIX）框架下的集中式训练和分散式执行（CTDE），通过关注聚合异步车辆决策。枢纽代理使用结合了本地拥堵和预测动态的流感知状态特征，用于主动路由。在合成网格和真实城市地图（多伦多、曼哈顿）上的实验表明，AN相对于SPF和学习基线减少了平均行程时间，保持了100％的路由成功率。HHAN可扩展到数百个十字路口的网络，在高峰时段实现了高达15.9％的改善。这些发现突显了网络约束的MARL在智能交通系统中的潜力，可实现可扩展的、协调的和对拥堵敏感的路由。

更新时间: 2025-10-30 02:49:46

领域: cs.LG,cs.AI,cs.MA

下载: http://arxiv.org/abs/2510.26089v1