Gistify! 通过运行时执行实现代码库级的理解

于红博

摘要: 随着编码代理在大型代码库中的部署越来越普遍，自动设计具有挑战性的、基于代码库的评估的需求至关重要。我们提出了Gistify，一个任务，其中编码LLM必须创建一个单一的、最小的、独立的文件，该文件可以复制代码库的特定功能。编码LLM可以完全访问代码库以及特定的入口点（例如，一个python命令），生成的文件必须复制在完整代码库中运行相同命令的输出，同时只包含执行所提供命令所需的基本组件。在Gistify上取得成功需要对代码库的结构有深刻的理解，准确地对其执行流程进行建模，以及能够生成可能很大的代码补丁。我们的研究结果显示，目前的最先进模型难以可靠地解决Gistify任务，特别是那些具有长执行跟踪的任务。

更新时间: 2025-10-30 17:58:26

领域: cs.CL,cs.AI

下载: http://arxiv.org/abs/2510.26790v1