固定置信度分布下分类器可靠性会发生多大漂移？

研究表明分类器在置信度分布不变的协变量偏移下条件准确率仍会发生漂移，并基于卡方（$\chi^2$）预算构建了脆弱性剖面（fragility profile）来刻画最坏情况。在特定预算区间内，该漂移等于预算平方根乘以正确倾向的层内方差。在 ImageNet 实验中，原始 6 个主要模型中有 4 个、温度缩放后 18 个模型中有 3 个表现出正的漂移下置信界。