arXiv 自然语言处理· Thomas Vaitses Fontanari, Maximo Eduardo Rulli, Federico Alvetreti, Donatella Genovese, Simone Scardapane·· 6 小时前AI 评分35
LRCC：通过条件计算泛化大模型低秩压缩
LRCC: Generalizing Low-Rank Compression with Conditional Computation
AI 导读
研究者提出 LRCC（低秩条件计算），通过在每个 Transformer 块中训练轻量路由动态选择嵌套低秩路径，实现 token 级别的计算分配。训练期间低秩因子保持冻结且仅优化路由，在相同平均活跃参数预算下，LRCC 在 Llama-2-7B 上比静态低秩压缩提升了 7.6 个百分点的平均下游准确率。
来源：arXiv 自然语言处理 · arxiv.org