LLMs使用通用过滤头处理列表

于红博

摘要: 我们研究了LLMs中一系列列表处理任务的机制，并发现LLMs已经学会了编码一个紧凑、因果关系表示的通用过滤操作，这反映了函数式编程中通用的“过滤器”功能。通过对多样化的列表处理任务进行因果中介分析，我们发现少数注意力头，我们称之为过滤头，编码了在特定标记处的查询状态中的过滤谓词的紧凑表示。我们展示了这个谓词表示是通用且可移植的：它可以被提取和重新应用以在不同的集合、以不同的格式、语言甚至任务中执行相同的过滤操作。然而，我们也确定了transformer LMs可以利用不同的策略进行过滤的情况：急切地评估一个项目是否满足谓词，并将这个中间结果直接存储在项目表示中。我们的结果表明，transformer LMs可以开发出人类可解释的抽象计算操作的实现，这些操作的泛化方式令人惊讶地类似于传统函数式编程模式中使用的策略。

更新时间: 2025-10-30 17:57:17

领域: cs.AI

下载: http://arxiv.org/abs/2510.26784v1