多模态事实检查：基于代理的方法

于红博

摘要: 多模态误导信息的快速传播对自动事实核查系统构成日益严峻的挑战。现有的方法，包括大型视觉语言模型（LVLMs）和深度多模态融合方法，往往由于推理能力有限和浅层证据利用而表现不佳。一个关键瓶颈是缺乏专门的数据集，提供完整的真实世界多模态误导信息实例，并附带注释的推理过程和可验证的证据。为了解决这一限制，我们介绍了RW-Post，一个高质量且可解释的用于真实世界多模态事实核查的数据集。RW-Post将真实世界多模态声明与其原始社交媒体帖子对齐，保留了声明所在丰富背景信息。此外，数据集包括详细的推理和明确链接的证据，这些证据是通过大型语言模型辅助提取管道从人类编写的事实核查文章中提取的，实现了全面的验证和解释。基于RW-Post，我们提出了AgentFact，一个基于代理人的多模态事实核查框架，旨在模拟人类核查工作流程。AgentFact由五个专门的代理人组成，共同处理关键的事实核查子任务，包括策略规划、高质量证据检索、视觉分析、推理和解释生成。这些代理人通过一个交替搜索证据和任务感知证据过滤和推理的迭代工作流程进行编排，促进战略决策和系统性证据分析。广泛的实验结果表明，RW-Post和AgentFact之间的协同作用显著提高了多模态事实核查的准确性和可解释性。

更新时间: 2025-12-31 09:37:15

领域: cs.AI,cs.CL

下载: http://arxiv.org/abs/2512.22933v2