Watson：LLM动力代理推理的认知可观测框架

于红博

摘要: 大型语言模型（LLMs）越来越多地被整合到自主系统中，产生了一类新的软件，称为Agentware，其中LLM动力代理在领域中执行复杂的、开放式的任务，如软件工程、客户服务和数据分析。然而，它们高度的自主性和不透明的推理过程为传统的软件可观测性方法带来了重大挑战。为了解决这个问题，我们引入了认知可观测性的概念 - 即恢复和检查代理决策背后的隐含推理的能力。我们提出了Watson，一个观察快速思考的LLM代理的推理过程的通用框架，在不改变它们行为的情况下。Watson使用提示归因技术反推理推理轨迹。我们在MMLU基准测试、AutoCodeRover和OpenHands代理在SWE-bench-lite数据集上的手动调试和自动更正场景中评估了Watson。在静态和动态设置中，Watson提供了可操作的推理见解，并支持有针对性的干预，展示了其在提高Agentware系统透明度和可靠性方面的实用性。

更新时间: 2025-09-19 13:47:46

领域: cs.AI,cs.SE

下载: http://arxiv.org/abs/2411.03455v3