EgoExo-Con：探索视角不变的视频时间理解

于红博

摘要: 视频-LLMs在视频从不同视角捕捉同一事件时是否能够实现一致的时间理解？为了研究这个问题，我们引入了EgoExo-Con（一致性），这是一个具有人类精细查询的自我中心和外部中心视频配对的综合同步基准。EgoExo-Con强调两个时间理解任务：时间验证和时间定位。它不仅评估正确性，还评估跨视角的一致性。我们的分析揭示了现有视频-LLMs的两个关键局限性：（1）模型通常无法保持一致性，其结果远远低于其单个视角的表现。（2）当简单地对两个视角的同步视频进行微调时，模型显示出改进的一致性，但通常表现不及单个视角训练的模型。为了改进，我们提出了View-GRPO，一种新颖的强化学习框架，有效地加强了视图特定的时间推理，同时鼓励跨视角的一致理解。我们的方法证明了其在改进交叉视图一致性方面的优越性，尤其是相对于简单的SFT和GRPO。所有资源将公开提供。

更新时间: 2025-10-30 03:53:22

领域: cs.CV,cs.AI

下载: http://arxiv.org/abs/2510.26113v1