关于基于LLM代理系统的工具调用提示安全性：实证风险评估

于红博

摘要: 基于LLM的代理系统利用大型语言模型来处理用户查询，做出决策，并执行外部工具以处理跨领域的复杂任务，如聊天机器人、客户服务和软件工程。这些系统的关键组件是工具调用提示（TIP），它定义工具交互协议并指导LLM以确保工具使用的安全性和正确性。尽管其重要性，TIP安全性却被大多数人忽视。本文调查了与TIP相关的安全风险，揭示了像Cursor、Claude Code等主要基于LLM的系统容易受到远程代码执行（RCE）和拒绝服务（DoS）等攻击。通过系统化的TIP利用工作流程（TEW），我们展示了通过操纵工具调用来劫持外部工具行为。我们还提出了增强基于LLM的代理系统中TIP安全性的防御机制。

更新时间: 2025-09-19 17:17:58

领域: cs.CR,cs.AI

下载: http://arxiv.org/abs/2509.05755v4