arXiv 自然语言处理· Mingyu Yang, Sharath Turuvekere Sreenivas, Adithyakrishna Venkatesh Hanasoge, Nima Tajbakhsh, Ashwath Aithal, Pavlo Molchanov·· 2 小时前AI 评分34
CSD：面向跨分词器知识迁移的公共支撑集蒸馏
CSD: Common-Support Distillation for Cross-Tokenizer Knowledge Transfer
AI 导读
跨分词器蒸馏框架 CSD 提出，通过在对齐输入块构建共享支撑集与单一匹配目标，解决跨模型族的知识迁移问题。在 Llama-3.2-1B 和 Gemma3-1B-PT 搭配 Qwen、Phi 教师模型的设定中，CSD 较最强替代方法提升最多 1.8 分。针对 Llama-3.1-8B，其较最强基线使基础与指令微调学生模型的平均准确率分别最高提升 4.2 分和 1.6 分。
来源：arXiv 自然语言处理 · arxiv.org