跳到正文
原文
arXiv 机器学习· Luyang Zhang, Jialu Wang, Bebei Li·· 8 小时前AI 评分36

选配比而非挑样本:面向大语言模型的组合数据选择

Pick the Mixture, Not the Samples: Combinatorial Data Selection for LLMs

AI 导读

针对大语言模型微调中跨领域互补与样本非加性交互问题,研究提出组合数据选择(CDS)框架与两阶段算法 Mixture-then-Select。该算法将归因与选择解耦,先确定各领域的样本抽取配比,再在各域内按归因得分筛选样本。实验显示其表现比强基线提升 20% 至 54%,理论差距与数据池规模无关,并可扩展至带预算约束的数据采购场景。

来源:arXiv 机器学习 · arxiv.org