揭示多模态因果关系：基于大型语言模型

于红博

摘要: 从数据中揭示因果机制对于科学进展至关重要。虽然大型语言模型(LLMs)显示出在从非结构化数据中增强因果发现(CD)方面的潜力，但它们在越来越普遍的多模态环境中的应用仍然是一个关键挑战。即使有了多模态LLMs(MLLMs)的出现，它们在多模态CD中的有效性受到两个主要限制的阻碍：(1)难以探索全面的因果变量识别所需的模内和模间交互；和(2)无法处理纯观测数据中的结构模糊性。为了解决这些挑战，我们提出了MLLM-CD，一个用于从非结构化数据中进行多模态因果发现的新框架。它由三个关键组件组成：(1)一个新颖的对比因子发现模块，根据对比样本对探索的交互作用来识别真正的多模态因子；(2)一个统计因果结构发现模块，用于推断已发现因子之间的因果关系；和(3)一个迭代的多模态反事实推理模块，通过整合MLLMs的世界知识和推理能力，迭代地优化发现结果。对合成和真实数据集的大量实验表明，提出的MLLM-CD在从多模态非结构化数据中揭示真实因子及其之间的因果关系方面是有效的。

更新时间: 2025-10-30 01:43:48

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2509.17784v2