ホットトピック継続更新中
研究揭示小语言模型深度剪枝后能力损伤与恢复规律
1 件の報道1 件の報道元17 時間前 更新
まずこの件を把握する
AI 概要
2026年11月3日，arXiv发布针对Llama-3.2-1B等1.2-1.7B参数规模小型大语言模型的研究。研究表明，深度剪枝会导致模型的函数调用与数学推理能力彻底崩溃，保留度仅为0.00至0.07。在后续的微调修复阶段，研究发现全架构添加低秩适配器相比仅微调最后三块，最高可多保留0.18的能力；同时，在同等训练token预算下，延长均匀微调的效果匹敌或优于复杂的规划分配策略。
AI が報道をもとに生成 · 13 時間前 更新
最新の進展11月3日 13:00
研究指出深度剪枝致模型数学推理等崩溃，全架构低秩适配修复效果更佳。報道タイムライン
報道をたどり、出来事のさまざまな側面を知る。
11月3日
- arXiv 自然语言处理小型大语言模型深度剪枝的能力损耗与恢复研究
对 Llama-3.2-1B 等 1.2-1.7B 模型的研究发现，深度剪枝会导致函数调用和数学推理能力彻底崩溃（保留度仅 0.00-0.07）。后续微调修复中，全架构添加低秩适配器相比仅微调最后三块最高可多保留 0.18 的能力。在同等训练 token 预算下，延长均匀微调的效果匹敌或优于复杂的规划分配策略。
このストーリーのホット度の推移
現在のホット度 6·比較可能範囲のピーク 9（11月3日 18:00）·直近24時間の比較可能な変化–
トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。