KITE：用于上下文学习的核化和信息理论示例

于红博

摘要: 在环境学习（ICL）已经成为一种强大的范式，通过仅使用在提示中呈现的少量精心选择的任务特定示例，来使大型语言模型（LLMs）适应新的和数据稀缺的任务。然而，鉴于LLMs的有限上下文大小，一个基本问题浮现：应选择哪些示例以最大化对给定用户查询的性能？虽然像KATE这样的基于最近邻的方法已被广泛采用，但它们在高维嵌入空间中存在众所周知的缺点，包括泛化能力差和缺乏多样性。在这项工作中，我们从一种基于原理的、信息论驱动的视角研究了ICL中的示例选择问题。我们首先将LLM建模为输入嵌入的线性函数，并将示例选择任务框定为一个特定查询的优化问题：从一个更大的示例库中选择一部分示例，以最小化对特定查询的预测误差。这种公式偏离了传统的以泛化为重点的学习理论方法，而是专注于对特定查询实例进行准确预测。我们推导出了一个基于原则的替代客观函数，该函数近似为子模块化，从而使得可以使用具有近似保证的贪心算法。我们进一步通过（i）将核技巧纳入，以在高维特征空间中进行操作而无需显式映射，并且（ii）引入一种基于最优设计的正则化器，以鼓励所选示例的多样性。从经验上讲，我们在一系列分类任务中展示了相比标准检索方法的显著改进，突显了结构感知、多样化示例选择对于ICL在真实世界中数据稀缺情况下的益处。

更新时间: 2025-09-19 06:50:03

领域: cs.LG,cs.AI,cs.CL

下载: http://arxiv.org/abs/2509.15676v1