arXiv 机器学习· Maria Lomeli, Antoine Groudiev, Matthijs Douze, Lo\"ic Cabannes, Pierre Emmanuel Mazar\'e, Fran\c{c}ois Fleuret, Maximilian Beck, Gergely Szilvasy, Naila Murray, Herv\'e J\'egou·· 1 天前AI 评分40
模型铸造与低参门控：实现更稀疏激活的 FFN 架构
Model Casting and Low-Parameter Gating: Towards More Sparsely Activated FFNs
AI 导读
研究提出模型铸造（Model Casting）训练策略与低参门控（LoPA Gating）架构，通过大幅稀疏化前馈网络（FFN）激活来减少推理计算量。在同等模型质量下，LoPA Casting 实现了 3.2x 的 FLOP 加速，显著优于 top-p 与 TEAL 等竞品方法最高 1.6x 的表现。
来源：arXiv 机器学习 · arxiv.org