arXiv 机器学习· Lalchand Pandia, Kanishka Misra, Allyson Ettinger·· 4 小时前AI 评分41
反思数据选择：LLM 微调中覆盖率比样本难度更重要
Rethinking Data Selection: The Importance of Coverage over Difficulty in LLM Fine-Tuning
AI 导读
研究发现 LLM 微调的数据选择中覆盖率比样本难度更重要，以往基于难度的筛选方法往往无法超越随机选择。分析表明随机选择能更好覆盖输入空间，为此研究实现了一种基于聚类的代表性数据选择方法。该方法在单领域任务中性能达到或超过随机选择，并在多领域的 Tülu 3 混合数据集上超越了所有对比方法。
来源：arXiv 机器学习 · arxiv.org