跳到正文
原文
arXiv 自然语言处理· Mingyang Song, Mao Zheng·· 18 小时前AI 评分42

基于测试时扩展反思大语言模型剪枝

Rethinking LLM Pruning via Test-Time Scaling

AI 导读

最新研究从测试时扩展视角在 4 个数学与代码基准上评估大语言模型剪枝,发现剪枝模型即使 pass@1 出现下滑,在扩大采样预算后推理覆盖面仍可匹敌甚至超过原模型。但严重剪枝会导致正确解更难被采样命中,额外的尝试会大幅推高总 token 消耗。因此模型剪枝评估应同时衡量解题覆盖范围与获取正确解所需的采样成本。

来源:arXiv 自然语言处理 · arxiv.org