使用Jensen-Shannon距离进行多类别局部校准

于红博

摘要: 发展值得信赖的机器学习（ML）模型需要它们预测的概率进行良好的校准，意味着它们应该反映真实类别频率。在多类分类中的校准概念中，强校准是最严格的，因为它要求所有预测的概率在所有类别中同时进行校准。然而，现有的多类校准方法缺乏输入之间的距离概念，这使它们容易受到邻近偏差的影响：特征空间稀疏区域的预测系统地被校准错误。这在高风险环境中尤为重要，例如医疗保健领域，其中稀疏实例恰恰是最容易受到偏见对待的实例。在这项工作中，我们通过引入多类局部校准的本地视角来解决这个主要缺陷。首先，我们正式定义了多类局部校准，并建立了它与强校准的关系。其次，我们在理论上分析了现有评估指标在应用于多类局部校准时的缺陷。第三，我们提出了一种增强神经网络中局部校准的实用方法，通过使用Jensen-Shannon距离强制预测的概率与类别频率的局部估计之间的对齐。最后，我们通过实证验证了我们的方法与现有的多类校准技术。

更新时间: 2025-10-30 14:56:07

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2510.26566v1