arXiv 自然语言处理· Dipto Sumit, Zobeida Zaman Chowdhury, Syeda Fabiayee Jahan, Farig Sadeque·· 12 小时前AI 评分32
伪装的标签平滑？低资源孟加拉语生成中的门控知识蒸馏
Label Smoothing in Disguise? Gated Knowledge Distillation for Low-Resource Bangla Generation
AI 导读
在低资源孟加拉语生成的 6 项任务与 60M 至约 2B 参数模型评测中，EWAD 与 CHAD 门控知识蒸馏在 45 组对比中均未显著优于普通知识蒸馏。知识蒸馏在 40 组对比中亦未能击败交叉熵微调，其核心收益仅是正则化效果，且无需教师模型的标签平滑即可弥补大部分差距。
来源：arXiv 自然语言处理 · arxiv.org