忠实且快速的影响函数通过先进取样

于红博

摘要: 我们如何解释训练数据对黑盒模型的影响？ 影响函数（IFs）通过利用梯度和Hessians提供了一种事后解决方案。然而，计算整个数据集的Hessian是资源密集型的，需要一个可行的替代方案。一种常见的方法是随机抽样训练数据的一个小子集，但这种方法通常会导致IF估计极不一致，因为样本配置的方差很高。为了解决这个问题，我们提出了基于特征和logits的两种高级抽样技术。这些抽样器通过考虑特征或logits的随机分布，选择整个数据集的一个小但代表性子集，从而提高IF估计的准确性。我们通过类别移除实验验证了我们的方法，这是IFs的一个典型应用，使用F1分数来衡量模型在忘记移除的类别的同时在其余类别上保持推理一致性的效果。相比基准，我们的方法将计算时间减少了30.1%，内存使用减少了42.2%，或将F1分数提高了2.5%。

更新时间: 2025-10-30 17:55:19

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2510.26776v1