MisSynth: 使用合成数据改进MISSCI逻辑谬误分类

于红博

摘要: 健康相关的错误信息非常普遍，可能会对人造成伤害。尤其是当声明扭曲或错误解释科学发现时，很难识别。我们研究了合成数据生成和轻量级微调技术对大型语言模型(LLMs)识别谬误论点能力的影响，使用MISSCI数据集和框架。在这项工作中，我们提出了MisSynth，这是一个应用检索增强生成（RAG）来生成合成谬误样本的流程，然后用于微调LLM模型。我们的结果显示，与基线模型相比，经过微调的模型取得了显著的准确率提升。例如，LLaMA 3.1 8B经过微调的模型在MISSCI测试集上的F1分数绝对提升超过35%。我们证明，引入合成谬误数据来增加有限的标注资源可以显著增强零样本LLM分类器在现实科学错误信息任务上的性能，即使计算资源有限。代码和合成数据集可在https://github.com/mxpoliakov/MisSynth 上找到。

更新时间: 2025-10-30 10:52:43

领域: cs.CL,cs.AI,cs.LG

下载: http://arxiv.org/abs/2510.26345v1