arXiv 自然语言处理· Zhenhe Wu, Jian Yang, Yaping Jin, Xinlai Kang, Jie Hu, Hanting Chen·· 4 小时前AI 评分34
PA1-OPD：面向语言模型预训练的单步前缀增强同策略蒸馏
PA1-OPD: One-Step Prefix-Augmented On-Policy Distillation for Language Model Pretraining
AI 导读
研究人员提出用于语言模型预训练的 PA1-OPD，在保留语料路径蒸馏的同时，通过学生模型单步采样转移引入教师反馈以扩充监督状态。在续写预训练测试中，该方法在 C4、PG-19 和 Pile 上的留出交叉熵均优于传统 KD；在 Stage2 中仅选取惊异度最高的 10% 根节点，即让 KD 相较于下个 token 预测训练的宏交叉熵增益提升 48.85%。
来源：arXiv 自然语言处理 · arxiv.org