研究揭示蒸馏模型类思考行为的共享权重机制
Start here
2026年11月4日，arXiv发布的一项自然语言处理研究探讨了蒸馏学生模型存储思考能力的机制。研究人员对比了3组大型推理模型蒸馏出的3个学生模型LoRA适配器，发现了一个与类思考行为直接绑定的共享权重更新子空间。实验表明，移除该子空间会基本关闭学生模型在各评测基准上的类思考行为，涵盖反思标记、独白格式与长解法；若以2倍权重将该子空间移植到短答案学生模型中，可激活早期标记，但模型极少能实现完整作答。
AI-generated from reports · Updated 13 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理蒸馏学生模型将思考存储在何处？
研究对比了 3 组大型推理模型蒸馏出的 3 个学生模型 LoRA 适配器，发现了一个与类思考行为直接绑定的共享权重更新子空间。移除该子空间会基本关闭学生模型在各评测基准上的类思考行为，包括反思标记、独白格式与长解法。当以 2 倍权重将该子空间移植到短答案学生模型时，可激活早期标记，但模型极少能完整作答。
Story heat trend
Current heat 7·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.