arXiv 自然语言处理· Nabeelah Faumi, Deshan Sumanathilaka·· 5 小时前AI 评分34
蒸馏后保留了什么？GPT-2 与 DistilGPT-2 的机制可解释性研究
What Survives Distillation? A Mechanistic Interpretability Study of GPT-2 and DistilGPT-2
AI 导读
研究人员通过机制可解释性分析对比 GPT-2 与 6 层学生模型 DistilGPT-2，发现知识蒸馏对不同能力回路呈现压缩与崩溃的两极分化。间接宾语识别（IOI）回路遭遇完全机制崩溃，DistilGPT-2 准确率由 94.8% 跌至 35.2%；而大于（GT）回路则保留了 87.7% 的性能，并将教师模型第 9 层的比较头重映射到了学生模型第 4 层。
来源：arXiv 自然语言处理 · arxiv.org