CLEAR: 大型语言模型对论点重写的全面语言评估

于红博

摘要: 尽管LLMs在一般文本生成任务上得到了广泛研究，但对于文本改写，即与一般文本生成相关的任务，研究较少，特别是对模型在这一任务上的行为。在本文中，我们分析了LLMs在文本改写环境中所做的改变。我们特别关注论证文本及其改进，一项名为Argument Improvement（ArgImp）的任务。我们提出了CLEAR：一个评估流程，包括映射到四个语言水平的57个指标：词汇、句法、语义和语用。该流程用于检查LLM改写的论证在广泛的论证语料库上的质量，并比较不同LLM在这一任务上的行为，并分析不同LLM在这一任务上的行为在语言水平上的表现。通过考虑所有四个语言水平，我们发现模型通过缩短文本同时增加平均词长和合并句子来执行ArgImp。总体而言，我们注意到在说服力和连贯性维度上有所增加。

更新时间: 2025-09-18 14:53:41

领域: cs.CL,cs.AI

下载: http://arxiv.org/abs/2509.15027v1