arXiv 机器学习· Alvard Barseghyan, Ani Vanyan, Hakob Tamazyan, Hrant Khachatrian·· 6 小时前AI 评分38
图像自蒸馏的数据密度缩放定律
Data Density Scaling Laws for Image Self-Distillation
AI 导读
图像自蒸馏模型在特定场景下重复训练较小的随机子集可优于更大的唯一样本集，表明样本重复效应具有数据集依赖性。研究在 Maxar、Waymo、ImageNet 等数据集上展开实验，提出显式考量唯一样本数与单样本重复次数的修正版 Chinchilla 风格缩放定律。该框架为数据与算力权衡提供了分析基础，同时探讨了子集选择与数据增强对下游性能的影响。
来源：arXiv 机器学习 · arxiv.org