研究发现大模型微调中数据覆盖率比样本难度更重要

1. 13:00
   arXiv 机器学习

   反思数据选择：LLM 微调中覆盖率比样本难度更重要

   研究发现 LLM 微调的数据选择中覆盖率比样本难度更重要，以往基于难度的筛选方法往往无法超越随机选择。分析表明随机选择能更好覆盖输入空间，为此研究实现了一种基于聚类的代表性数据选择方法。该方法在单领域任务中性能达到或超过随机选择，并在多领域的 Tülu 3 混合数据集上超越了所有对比方法。

Current heat 8·Comparable peak 10（Nov 6 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.