DynamicNER：一种基于LLM的动态、多语言和细粒度数据集的命名实体识别

于红博

摘要: 大型语言模型（LLM）的进展促使人们对其在命名实体识别（NER）方法中的应用产生了越来越浓厚的兴趣。然而，现有的数据集主要设计用于传统的机器学习方法，对于基于LLM的方法来说，在语料库选择和整体数据集设计逻辑方面是不足够的。此外，现有数据集中盛行的固定和相对粗粒度的实体分类未能充分评估LLM方法的优越泛化和上下文理解能力，从而阻碍了对其广泛应用前景的全面展示。为了解决这些限制，我们提出了DynamicNER，这是第一个专为LLM方法设计的NER数据集，具有动态分类，引入了不同上下文中相同实体的各种实体类型和实体类型列表，更好地利用LLM方法的泛化能力。该数据集还是多语言和多粒度的，涵盖了8种语言和155种实体类型，语料库涵盖了各种领域。此外，我们还引入了CascadeNER，一种基于两阶段策略和轻量级LLM的新型NER方法，在精细任务上实现了更高的准确性，同时需要更少的计算资源。实验证明，DynamicNER作为LLM基于NER方法的强大和有效的基准。此外，我们还对我们的数据集上的传统方法和LLM方法进行了分析。我们的代码和数据集可以在https://github.com/Astarojth/DynamicNER上公开获取。

更新时间: 2025-09-19 01:02:13

领域: cs.CL,cs.AI

下载: http://arxiv.org/abs/2409.11022v5