代码语言模型中的本地校准不确定性

于红博

摘要: 大型语言模型（LLMs）可以从自然语言提示中生成复杂的源代码。然而，LLMs 可能会生成与用户期望不符的输出，需要监督和编辑。为了支持这一过程，我们提供了一些技术，用于确定生成的代码与用户意图不一致的位置。我们首先创建了一个修复的LLM生成程序的“最小意图对齐补丁”数据集。每个程序都使用测试用例来验证正确性。在创建了程序数据集之后，我们衡量了各种技术能够如何分配一个良好校准的概率，以指示哪些代码部分将在最小补丁中被编辑（即给出一个与实证几率相对应的概率）。我们比较了白盒探测（其中我们提出了一种有效的任意跨度查询技术）与黑盒反射和基于自洽性的方法。我们发现，具有小监督模型的探测器可以在估计由数量级更大的模型生成的代码上实现低校准误差和Brier技能评分约0.2的编辑行。我们讨论了这些技术的普适性，以及与AI监督和控制的联系，发现只针对代码训练的探测器如果允许新的概率缩放，则显示出一些泛化到自然语言错误的迹象。

更新时间: 2025-12-31 02:00:17

领域: cs.SE,cs.AI

下载: http://arxiv.org/abs/2512.24560v1