在基于LLM的智能系统中利用工具调用提示进行工具行为劫持

于红博

摘要: 基于LLM的代理系统利用大型语言模型处理用户查询，做出决策，并执行外部工具来处理跨领域的复杂任务，如聊天机器人、客户服务和软件工程。这些系统的一个关键组件是工具调用提示（TIP），它定义工具交互协议并指导LLM以确保工具使用的安全性和正确性。尽管其重要性，TIP安全性却被大多数人忽视。本文调查了与TIP相关的安全风险，揭示了主要的基于LLM的系统，如Cursor、Claude Code等，容易受到远程代码执行（RCE）和拒绝服务（DoS）等攻击的影响。通过系统化的TIP利用工作流程（TEW），我们展示了通过操纵工具调用来劫持外部工具行为。我们还提出了加强基于LLM的代理系统中TIP安全性的防御机制。

更新时间: 2025-09-18 17:38:28

领域: cs.CR,cs.AI

下载: http://arxiv.org/abs/2509.05755v3