SIRAJ：通过精炼的结构化推理为LLM代理实现多样化高效的红队行动

于红博

摘要: LLM代理的规划和调用工具的能力使它们暴露于新的安全风险中，这使得发现漏洞并确保其安全部署至关重要，因此需要一个全面的红队系统。我们提出SIRAJ：一个针对任意黑匣子LLM代理的通用红队框架。我们采用一个动态的两步过程，从代理定义开始生成涵盖各种风险结果、工具使用轨迹和风险来源的多样化种子测试用例。然后，基于先前尝试的执行轨迹，迭代构建和完善基于模型的对抗攻击。为了优化红队成本，我们提出了一种模型蒸馏方法，利用教师模型推理的结构化形式来训练同样有效的较小模型。在各种评估代理设置中，我们的种子测试用例生成方法使风险结果和工具调用轨迹的覆盖率提高了2-2.5倍。我们精炼的8B红队模型提高了攻击成功率100%，超过了671B的Deepseek-R1模型。我们的割裂和分析验证了迭代框架、结构化推理以及我们红队模型的泛化的有效性。

更新时间: 2025-10-30 00:32:58

领域: cs.CR,cs.AI,cs.CL

下载: http://arxiv.org/abs/2510.26037v1