Dyna-Think：在AI代理中协同推理、行动和世界模型模拟

于红博

摘要: 最近在利用大型语言模型（LLMs）进行推理方面取得了一些进展，例如DeepSeek-R1，在数学和编码等领域展示了令人印象深刻的能力，通过展示验证、目标分解和自我反思等复杂的认知行为。然而，目前尚不清楚对于长期AI代理任务来说哪些行为是有效的，哪些是缺失的。在这项工作中，我们提出了Dyna-Think，这是一个将规划与内部世界模型、推理和行动相结合的思考框架，以增强AI代理的性能。为了实现Dyna-Think，我们提出了Dyna-Think模仿学习（DIT）和Dyna-Think动态训练（DDT）。为了初始化一个具有Dyna-Think的策略，DIT重构了R1的思考过程，专注于执行与提出的（和计划的）行动相关的世界模型模拟，并使用这些重构的数据训练策略。为了增强Dyna-Think，DDT使用两阶段训练过程，首先通过目标（如状态预测或批评生成）改善代理的世界建模能力，然后通过策略训练改善代理的行动。我们在OSWorld和WindowsAgentArena上评估了我们的方法，并证明了Dyna-Think提高了代理在领域内和领域外的性能，实现了与R1相似的最佳性能，同时平均生成的标记量减少了两倍。我们的广泛实证研究表明：1）使用批评生成来进行世界模型训练对于改善策略性能是有效的；2）表现更好的AI代理与更好的世界建模能力相关。我们相信我们的结果表明了一个有希望的研究方向，即将世界模型模拟整合到AI代理中，以增强它们的推理、规划和行动能力。

更新时间: 2025-10-08 17:49:53

领域: cs.AI,cs.CL,cs.LG

下载: http://arxiv.org/abs/2506.00320v2