研究提出从测试时扩展视角重新评估LLM剪枝

1. 13:00
   arXiv 自然语言处理

   基于测试时扩展反思大语言模型剪枝

   最新研究从测试时扩展视角在 4 个数学与代码基准上评估大语言模型剪枝，发现剪枝模型即使 pass@1 出现下滑，在扩大采样预算后推理覆盖面仍可匹敌甚至超过原模型。但严重剪枝会导致正确解更难被采样命中，额外的尝试会大幅推高总 token 消耗。因此模型剪枝评估应同时衡量解题覆盖范围与获取正确解所需的采样成本。

Current heat 5·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.