SPICE：用于问题明晰度、测试覆盖率和工作量估计的自动化SWE-Bench标记流程

于红博

摘要: 高质量的标记数据集对于在软件工程中训练和评估基础模型至关重要，但创建它们往往是昂贵且劳动密集的。我们介绍了SPICE，一个可扩展的自动化流程，用于使用SWE-bench风格的数据集标记注解，涉及问题清晰度、测试覆盖率和工作量估计。SPICE结合了上下文感知的代码导航、基于理由的提示和多次通过一致性，以生成与专家注解接近的标签。SPICE的设计受到我们在从SWE-Gym中标记超过800个实例时的经验和挫折的启发。SPICE在减少从大约10万美元（手动注释）标记1,000个实例的成本的同时，与人工标记的SWE-bench验证数据达成了强有力的一致性，仅为5.10美元。这些结果表明SPICE有潜力为面向软件工程的基础模型实现成本效益的大规模数据集创建。为了支持社区，我们发布了SPICE工具和SPICE Bench，这是一个新的数据集，其中包含6,802个来自SWE-Gym中291个开源项目的SPICE标记实例（比SWE-bench验证数据集大13倍以上）。

更新时间: 2025-09-18 12:44:18

领域: cs.SE,cs.AI

下载: http://arxiv.org/abs/2507.09108v5