检索增强语言模型是否知道自己不知道？

于红博

摘要: 现有的大型语言模型（LLMs）偶尔会生成看似合理但事实不正确的回复，被称为幻觉。研究人员主要采用两种方法来减轻幻觉，即检索增强语言模型（RALMs）和拒绝后训练。然而，当前的研究主要强调它们各自的有效性，而忽视了对RALMs的拒绝能力的评估。在这项研究中，我们提出了一个基本问题：RALMs是否知道自己不知道？具体而言，我们提出了三个问题。首先，RALMs在不同的内部和外部知识状态下是否很好地校准？我们考察了各种因素的影响。与预期相反，我们发现LLMs表现出明显的过度拒绝行为。那么，拒绝后训练如何影响过度拒绝问题？我们调查了拒绝感知指导调整和上下文微调方法。我们的结果显示，上下文微调可以缓解过度拒绝问题，但R调节可能会放大该问题。然而，我们还发现，拒绝能力可能会与答案的质量相冲突。最后，我们为拒绝后训练模型开发了一种简单而有效的拒绝方法，以提高它们在拒绝和正确答案方面的整体答案质量。我们的研究提供了对RALM系统中重要因素影响的更全面的理解。

更新时间: 2025-09-19 12:43:33

领域: cs.CL,cs.AI

下载: http://arxiv.org/abs/2509.01476v2