ExpertFlow：高效MoE推理的自适应专家调度和内存协调

于红博

摘要: 大型语言模型的扩展受现代GPU的受限内存容量限制越来越严重。为了缓解这一问题，混合专家(MoE)架构在推断期间仅激活少量参数，显著降低了内存需求和计算开销。然而，传统的MoE推断方法在每一层独立选择活跃专家，往往由于主机和GPU内存之间频繁的参数传输而引入了相当大的延迟。此外，当前的跨层预测策略通常基于固定步长，缺乏跨不同硬件平台和工作负载的适应性，从而降低了其稳健性和有效性。为了解决这些挑战，我们提出了ExpertFlow，一个MoE推断的运行时系统，结合了自适应专家预取和缓存感知路由。ExpertFlow通过利用运行时统计数据，如传输带宽、参数维度和模型反馈信号，持续调整专家激活的预测范围。此外，它结合了一个混合的跨层预测方案，将预门信息与中间计算状态融合，以预测未来专家需求。通过自适应地优化预取决策并将其与实际使用行为对齐，ExpertFlow有效地减少了缓存未命中并消除了专家交换引起的延迟。我们的评估表明，ExpertFlow将模型停滞时间降低到基线的不到0.1%，突显了其在严格的内存约束下优化MoE推断的能力。

更新时间: 2025-10-30 17:29:27

领域: cs.DC,cs.AI,cs.PF

下载: http://arxiv.org/abs/2510.26730v1