arXiv 机器学习· Ranajoy Sadhukhan, Euijin Hong, Sheng Cao, Zechun Liu, Shuowei Jin, Sha Li, Changlong Yu, Xin Liu, Qin Lu, Zhenyu Shi, Priyanka Nigam, Beidi Chen·· 6 小时前AI 评分43
STAPLE：通过嵌入模块实现预训练模型的静态稀疏升级
STAPLE: Static Sparse Upcycling of Pretrained Checkpoints via Embedding Modules
AI 导读
研究人员提出基于 STEM 的静态稀疏升级方案 STAPLE，通过在保留 FFN 上投影的同时将 token 索引嵌入作为残差路径加入预训练模型。在 OLMo-2 1B 上，STAPLE 相比持续稠密训练使 HumanEval 提升 4.27 分、MBPP 提升 2.80 分、GSM8K 提升 2.27 分，并在 OLMo-2 7B 上延续了性能增益。
来源：arXiv 机器学习 · arxiv.org