arXiv 机器学习· Hazar Yueksel·· 6 小时前AI 评分26
损失差条件互信息（ld-CMI）的精度与信息权衡
An Accuracy--Information Tradeoff for Loss-Difference Conditional Mutual Information
AI 导读
该研究证明模型精度会迫使产生损失差条件互信息（ld-CMI），揭示了泛化界中精度与信息的理论权衡。对于光滑凸损失线性预测器，当超额风险至多为 $\varepsilon$ 时，最坏情况 ld-CMI 达到 $n$ 比特阶，在高斯噪声下为 $\Theta(n/(1+(\tau/\varepsilon)^2))$ 比特。
来源：arXiv 机器学习 · arxiv.org