Accumulative SGD影响评估用于数据归因

于红博

摘要: 现代数据中心的人工智能需要准确的每个样本的影响力。标准SGD-IE近似通过对每个时代的代理求和来忽略交叉时代的复合效应，这会导致对关键示例的错误排序。我们提出了ACC-SGD-IE，这是一种轨迹感知估计器，可以在整个训练过程中传播leave-one-out的扰动，并在每一步更新一个累积影响力状态。在平滑强凸设置中，它实现了几何误差收缩，在平滑非凸区域中，它收紧了误差界限；更大的小批量进一步降低了常数。在Adult、20 Newsgroups和MNIST上，无论是在清洁数据还是损坏数据下，无论是在凸还是非凸训练下，ACC-SGD-IE都可以提供更准确的影响估计，尤其是在长时间的时代中。对于下游数据清洗，它更可靠地标记嘈杂的样本，生成使用ACC-SGD-IE清洗数据训练的模型优于使用SGD-IE清洗的模型。

更新时间: 2025-10-30 06:45:22

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2510.26185v1