arXiv 机器学习· Elvis Dohmatob·· 9 小时前AI 评分30
仅在最难样本上训练的可证明优势
Hard Way, The Only Way: Provable Merits of Training on Hardest Examples
AI 导读
一项高维学习理论研究证明，在样本量 P 远大于输入维度 N 的高样本区间下，策略性数据剪枝可将分类测试误差衰减率从传统 ERM 的 sqrt(N/P) 加速至贝叶斯最优的 N/P 级。该最优性能可通过一种激进策略实现：舍弃绝大部分训练数据，仅严格保留 2N 个最难样本。该分析为评估剪枝策略与损失函数及标签噪声的相互作用提供了统一理论框架。
来源：arXiv 机器学习 · arxiv.org