FESTA：用于多模态LLMs信任评估的功能等效抽样

于红博

摘要: 多模式大型语言模型（MLLMs）的准确信任评估生成的预测，可以实现选择性预测并提高用户信心，由于多样化的多模式输入范例，这是具有挑战性的。我们提出了用于信任评估的功能等效采样（FESTA），这是一种用于MLLMs的多模式输入采样技术，它基于等效和互补输入采样生成不确定性度量。所提出的任务保持采样方法用于不确定性量化，扩展了输入空间以探测模型的一致性（通过等效样本）和敏感性（通过互补样本）。FESTA仅使用模型的输入输出访问（黑盒），无需地面真相（无监督）。实验使用各种现成的多模式LLMs进行，包括视觉和音频推理任务。所提出的FESTA不确定性估计在检测误预测方面的选择性预测性能上取得了显著改善（对于视觉-LLMs的相对改善率为33.3％，对于音频-LLMs的相对改善率为29.6％），基于接收操作特征曲线（AUROC）度量。代码实现是开源的。

更新时间: 2025-10-30 06:55:22

领域: cs.AI,cs.CL,cs.LG

下载: http://arxiv.org/abs/2509.16648v2