arXiv 自然语言处理· Houcheng Jiang, Mao Zheng, Mingyang Song, Qiyong Zhong, Jie Sun, Tianyu Zhang, Junfeng Fang·· 7 小时前AI 评分35
ReCal:面向在线策略蒸馏恢复的结构化剪枝校准方法
ReCal: Calibrating Structured Pruning for On-Policy Distillation Recovery
AI 导读
研究人员提出即插即用方法 RECAL,在结构化剪枝前调整校准统计,以增强推理大语言模型后续的在线策略蒸馏(OPD)恢复效果。该方法利用教师模型与剪枝探针间的前向 KL 散度识别受损预测并重新加权校准,引导现有剪枝准则保留关键能力。实验显示,RECAL 在 AIME 数学推理评测中最高带来 16.7 个百分点的提升,并在多数代码生成基准中实现改进。
来源:arXiv 自然语言处理 · arxiv.org