arXiv 机器学习· Ahmed Mehdi Inane, Mahdi Haghifam, Gintare Karolina Dziugaite, Ioannis Mitliagkas·· 8 小时前AI 评分34
迈向忠实数据选择：统计极限与可扩展算法
Towards Faithful Data Selection: Statistical Limits and Scalable Algorithms
AI 导读
研究证明在无超大验证集时常规最优数据选择在信息论上不可行，并提出具备单边保证的“忠实性”（faithfulness）数据选择框架。该方法基于未校正朗之万算法，将子集与全量数据训练的 KL 散度上界建模为轨迹累积梯度差异，并通过基于交换的局部搜索算法进行优化。CIFAR10 与 CIFAR100 实验表明其表现匹配现有基准水平，实现代码已开源。
来源：arXiv 机器学习 · arxiv.org