arXiv 机器学习· Abel Gurung, Joseph Campbell·· 9 小时前AI 评分35
Bi-Phase Training：从零开始的高效预训练
Bi-Phase Training: Learning Efficiently From Scratch
AI 导读
研究人员提出参数高效预训练方法 Bi-Phase Training（BPT），能在大幅减少可训练参数的同时保留全参数优化的高秩学习动态。在 FineWeb-Edu 数据集对 Qwen2.5（100M 至 1.5B）与 OLMo-2-1B 的从零预训练中，BPT 取得了接近全参数基线的验证困惑度。在 1.5B 规模下，BPT 减少了 66% 可训练参数，且保留了大部分下游任务性能。
来源：arXiv 机器学习 · arxiv.org