合成数据高效筛选需引入群体级信号

LLM 预训练与后训练中的高效合成数据筛选需引入考虑样本间相互作用的群体级信号，传统的单样本独立信号无法准确反映联合训练效果。基于群体级信号筛选能显著提升模型的下游生成能力，且在合成数据占比更高的流程中增益更为明显。研究团队还提出了一种低算力成本的诊断方法，可在预算受限时优先评估最关键的数据组。