在预对数空间中通过基于采样的最优控制对LLMs进行测试时间对齐

于红博

摘要: 大语言模型（LLMs）的测试时间对齐引起了人们的关注，因为微调LLMs需要高昂的计算成本。在本文中，我们提出了一种名为自适应重要性抽样预对数（AISP）的新的测试时间对齐方法，基于基于抽样的模型预测控制和随机控制输入。AISP将高斯扰动应用于预对数，即倒数第二层的输出，以最大化与扰动均值相关的期望奖励。我们证明通过使用采样奖励进行重要性抽样可以获得最优均值。与基于奖励的其他测试时间对齐方法相比，AISP在奖励方面优于最佳n次采样，同时在所使用的样本数量上表现出更高的奖励。

更新时间: 2025-10-30 07:52:14

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2510.26219v1