Skip to content
Hot storiesContinuously updated

研究团队提出Transformer深度剪枝方法J-BI

1 reports1 reporting sourcesUpdated 16 hours ago

Start here

AI overview

2026年11月3日，研究人员在arXiv发表论文，提出结合Jacobian Lens（J-Lens）的Transformer深度剪枝评分方法J-BI。该方法旨在解决传统Block Influence（BI）仅衡量局部冗余而忽视下游影响的缺陷，通过将层扰动映射至最终残差流进行评估。测试结果显示，在保持相同稀疏度的条件下，J-BI使得Qwen3-8B、Llama-3.1-8B-IT和Gemma-3-12B-IT剪枝后的准确率较BI最高提升19个百分点，并显著减少了对模型困惑度的损伤。

AI-generated from reports · Updated 12 hours ago

Latest developmentsNov 3 13:00
研究者提出结合J-Lens的深度剪枝方法J-BI，剪枝后准确率较传统BI最高提升19个百分点。

Report timeline

Follow the reports to see different sides of the story.

Nov 3
  1. arXiv 机器学习
    输出感知块影响：用于深度剪枝的 Jacobian-Lens 加权方法

    研究者提出结合 Jacobian Lens（J-Lens）的深度剪枝评分方法 J-BI，通过将层扰动映射至最终残差流，解决传统 Block Influence（BI）仅衡量局部冗余而忽视下游影响的问题。在相同稀疏度下，J-BI 使 Qwen3-8B、Llama-3.1-8B-IT 和 Gemma-3-12B-IT 的剪枝后准确率较 BI 最高提升 19 个百分点，同时显著减少了对模型困惑度的损伤。

Story heat trend

Current heat 7·Comparable peak 9（Nov 3 17:00）·Comparable change, last 24 hours–

02.557.510Nov3Nov3Nov4Nov4

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.