BBScoreV2：从随机表示学习时间演变和潜在对齐

于红博

摘要: 自回归生成模型在各种语言任务中起着关键作用，特别是在建模和评估长文本序列方面。虽然最近的方法利用随机表示来更好地捕捉序列动态，编码时间和结构依赖性，并利用这些信息进行评估仍然具有挑战性。在这项工作中，我们观察到将基于Transformer的模型嵌入拟合到随机过程中会产生从原始无序模型输出中产生有序的潜在表示。基于这一观察和先前的工作，我们在理论上介绍了一种新的基于似然的评估指标BBScoreV2。在经验上，我们证明了随机潜在空间在高维空间中诱导了语言模型表示的“聚类到时间有序”的映射，为BBScoreV2的有效性提供直观和定量支持。此外，这种结构与自然语言的内在属性相一致，并增强了在任务中的性能，如时间一致性评估（例如，洗牌任务）和人工智能生成内容检测。

更新时间: 2025-09-19 04:35:15

领域: cs.CL,cs.AI,math.ST,stat.TH

下载: http://arxiv.org/abs/2405.17764v4