CultureScope：一种用于探究LLMs中文化理解的维度镜头

于红博

摘要: 随着大型语言模型（LLMs）在不同文化环境中的部署日益增加，评估它们的文化理解能力已经成为确保可信赖和与文化相符的应用程序至关重要。然而，大多数现有的基准测试缺乏全面性，并且在不同文化背景下的扩展和适应具有挑战性，因为它们的框架通常缺乏来自成熟文化理论的指导，并且往往依赖于专家驱动的手动注释。为了解决这些问题，我们提出了CultureScope，迄今为止用于评估LLMs中文化理解的最全面评估框架。受文化冰山理论的启发，我们设计了一个新颖的文化知识分类的维度模式，包括3个层次和140个维度，这指导了针对任何给定语言和文化的自动构建文化特定知识库和相应评估数据集。实验结果表明，我们的方法能够有效评估文化理解。它们还显示，现有的大型语言模型缺乏全面的文化能力，仅仅整合多语言数据并不一定会增强文化理解。所有代码和数据文件都可在https://github.com/HoganZinger/Culture获得。

更新时间: 2025-09-19 17:47:48

领域: cs.CL,cs.AI

下载: http://arxiv.org/abs/2509.16188v1