arXiv 自然语言处理· Ruurd J. A. Kuiper, Robert A. Bagheri·· 12 小时前AI 评分46
BYOD：高效自回归到扩散语言模型转换方案
BYOD: Build Your Own DLM - Efficient Autoregressive-to-Diffusion Language Model Conversion
AI 导读
研究人员提出 BYOD 方案，通过纯 LoRA 方式将自回归语言模型高效转换为扩散语言模型（DLM）。在基座参数完全冻结下，仅需 4.1-5.8% 适配器参数量并在单张 Google Colab GPU 上耗时 3.1-4.0 小时，即可完成 Gemma 2 9B、Llama 3.1 8B 等模型的转换。BYOD-Gemma 在 9 项任务评测中取得 50.6% 的平均准确率。
来源：arXiv 自然语言处理 · arxiv.org