arXiv 自然语言处理· Taeyeong Kim, Jaemin Jung, Ahhyun Kim, Unggi Lee·· 14 小时前AI 评分43
蒸馏学生模型将思考存储在何处？
Where Do Distilled Students Store Thinking?
AI 导读
研究对比了 3 组大型推理模型蒸馏出的 3 个学生模型 LoRA 适配器，发现了一个与类思考行为直接绑定的共享权重更新子空间。移除该子空间会基本关闭学生模型在各评测基准上的类思考行为，包括反思标记、独白格式与长解法。当以 2 倍权重将该子空间移植到短答案学生模型时，可激活早期标记，但模型极少能完整作答。
来源：arXiv 自然语言处理 · arxiv.org