Skip to content
arXiv 自然语言处理· Hojun Cho, Kang Eun Jeon, Jaegul Choo·· 18 hours agoAI score34

Adaptive-Policy Distillation(APD):信息不对称下的知识注入

Adaptive-Policy Distillation: Knowledge Injection under Information Asymmetry

Not yet translated; shown in Chinese.

AI guide

研究提出自适应策略蒸馏(APD),通过逐 token 门控动态将 rollout 偏向教师模型并切换至 forward KL 目标,解决闭卷知识注入难题。在无需标注或验证器的情况下,APD 相比 on-policy 蒸馏(OPD)性能提升最高达 54.6%。该方法在 QASPER 上取得 0.558 F1,在 BioASQ 上取得 0.486 MRR 的最佳表现。

Source:arXiv 自然语言处理 · arxiv.org