热点事件持续更新
苹果研究称数据受限场景下双语预训练优于超参数调优
1 篇报道1 个报道来源17 小时前更新
先了解这件事
AI 综述
2026年10月13日，Apple Machine Learning Research发布关于低资源模型预训练的研究成果。研究指出，在数据受限场景下，混入高资源辅助语言的双语预训练在验证损失与下游任务准确率上均显著优于超参数调优，且性能差距随模型规模增大而进一步扩大。在150M至1.43B参数规模及约1000次预训练实验中，该方案带来的性能增益相当于目标数据量扩充2至3倍（验证损失指标）以及2至13倍（下游任务准确率指标）。基于此，研究建议在相关场景下应优先调整数据混合比例，并利用μP从小型代理模型中迁移超参数。
AI 根据报道生成 · 2 小时前更新
最新进展10月13日 08:00
苹果研究显示混入高资源语言的双语预训练效果优于超参数调优，增益相当于数据量扩充数倍。报道时间线
沿着报道，了解事件的不同侧面。
10月13日
- Apple Machine Learning Research双语预训练在数据受限场景下表现优于超参数搜索
在数据受限场景下，混入高资源辅助语言的双语预训练在验证损失与下游任务准确率上均显著优于超参数调优，且差距随模型增大而扩大。在 150M 至 1.43B 参数规模及约 1000 次预训练实验中，该方案带来的性能增益相当于目标数据量扩充 2–3 倍（验证损失）和 2–13 倍（下游准确率）。研究建议优先调整数据混合比例，并通过 μP 从小型代理模型迁移超参数。
本事件热度走势
当前热度 6·可比范围峰值 7（10月13日 23:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。