arXiv 机器学习· Xueqi Cheng, Liang Wu, Kelly Wan, Liangjie Hong, Yushun Dong·· 3 小时前AI 评分44
LLM 压缩的能力缩减规律研究
Capability Scaling-Down Laws for LLM Compression
AI 导读
该研究系统分析了涵盖剪枝、量化与知识蒸馏的 LLM 压缩能力缩减规律，并建立了预测数学、代码生成与问答能力损失的精简关系式。实验表明，跨剪枝级别共享密度响应可将预测拟合测量需求减半，在 Pythia、OLMo-2 及 Wanda 剪枝上的数学与代码误差均在 0.020 nats per token 以内。相关代码已开源。
来源：arXiv 机器学习 · arxiv.org