少即是多：通过最小化测试时间干预改进LLM推理

于红博

摘要: 最近在大型语言模型（LLMs）方面取得的进展主要集中在测试时的扩展，以通过增加推理计算来改善推理能力，但往往以效率为代价。我们重新审视了测试时的行为，并发现了一个简单但尚未充分探索的现象：推理不确定性高度局部化，只有一小部分高熵令牌主要影响输出的正确性。受此启发，我们提出了Minimal Test-Time Intervention（MTI），这是一个无需训练的框架，通过最小的开销提高推理准确性和稳定性。MTI包括：（i）选择性CFG干预，在不确定位置应用无需分类器的指导；和（ii）轻量级负提示指导，利用主模型的KV缓存有效地近似无条件解码。MTI在一般、编码和STEM任务中均取得了一致的收益，例如在六个DeepSeek-R1-7B基准测试中平均提高了9.28％，使用Ling-mini-2.0在AIME2024上提高了11.25％，同时保持高效。

更新时间: 2025-12-31 07:36:24

领域: cs.CL,cs.AI

下载: http://arxiv.org/abs/2510.13940v2