双语预训练在数据受限场景下表现优于超参数搜索

在数据受限场景下，混入高资源辅助语言的双语预训练在验证损失与下游任务准确率上均显著优于超参数调优，且差距随模型增大而扩大。在 150M 至 1.43B 参数规模及约 1000 次预训练实验中，该方案带来的性能增益相当于目标数据量扩充 2–3 倍（验证损失）和 2–13 倍（下游准确率）。研究建议优先调整数据混合比例，并通过 μP 从小型代理模型迁移超参数。