探索多语言和谐：关于大型语言模型预训练的多语言数据分配

于红博

摘要: 大型语言模型（LLMs）已经成为全球范围内各种应用的重要组成部分，推动了对有效多语能力的前所未有的全球需求。实现强大的多语性性能的核心是在训练语料库中战略性地分配语言比例。然而，由于复杂的跨语言交互作用和对数据集规模的敏感性，确定最佳语言比例是非常具有挑战性的。本文介绍了Climb（Cross-Lingual Interaction-aware Multilingual Balancing），这是一个新颖的框架，旨在系统优化多语数据分配。在其核心，Climb引入了一个跨语言交互感知语言比例，通过捕捉语言间的依赖关系来明确量化每种语言的有效分配。利用这个比例，Climb提出了一个合理的两步优化过程——首先均衡各语言的边际收益，然后最大化结果语言分配向量的幅度——显著简化了固有复杂的多语优化问题。广泛的实验证实，Climb能够准确地测量各种多语设置中的跨语言交互作用。使用由Climb导出的比例训练的LLMs始终实现最先进的多语性能，甚至在与使用更多标记训练的开源LLMs相比时也能够取得竞争性能。

更新时间: 2025-09-19 03:34:34

领域: cs.CL,cs.AI

下载: http://arxiv.org/abs/2509.15556v1