KnowRL：探索知识强化学习以获取事实性

于红博

摘要: 大型语言模型（LLMs），特别是慢思考模型，经常表现出严重的幻觉，输出不正确的内容，因为在推理过程中无法准确识别知识边界。虽然强化学习（RL）可以增强复杂的推理能力，但其以结果为导向的奖励机制通常缺乏对思维过程的事实监督，进一步加剧了幻觉问题。为了解决慢思考模型中的高幻觉问题，我们提出了增强知识的强化学习，KnowRL。KnowRL通过将基于知识验证的事实性奖励整合到RL训练过程中，指导模型执行基于事实的慢思考，帮助它们识别自己的知识边界。这种在RL训练过程中的有针对性的事实输入使模型能够学习和内化基于事实的推理策略。通过直接奖励在推理步骤中遵循事实，KnowRL促进了更可靠的思考过程。在三个幻觉评估数据集和两个推理评估数据集上的实验结果表明，KnowRL有效地减轻了慢思考模型中的幻觉，同时保持了它们原有的强大推理能力。我们的代码可在https://github.com/zjunlp/KnowRL 上找到。

更新时间: 2025-10-08 16:56:59

领域: cs.AI,cs.CL,cs.CV,cs.LG,cs.MA

下载: http://arxiv.org/abs/2506.19807v3