arXiv 机器学习· Ryan Swift, Konstantinos Psounis·· 5 小时前AI 评分40
KDFP：基于第一性原理的大语言模型知识蒸馏方法
KDFP: A first-principles approach to knowledge distillation in large language models
AI 导读
研究人员提出 KDFP，一种面向大语言模型（LLM）的白盒通用知识蒸馏新方法。评测显示，KDFP 在 9 个 benchmark 上的表现比现有方法提升 1.6% 至 4.9%，并通过瞬态参数缩减（ephemeral parameter reduction）将训练效率最高提升 99.1%，有助于在边缘设备部署高效且私密的模型系统。
来源：arXiv 机器学习 · arxiv.org