arXiv 自然语言处理· Zekai Zhang, Yunjie Tian, Yanjin He, Xiaoyan Zhang, Dongdi Zhao, Qing Qu, Di Fu·· 7 小时前AI 评分36
扩展与蒸馏文本嵌入向量以提升可扩散性
Scaling and Distilling Text Embeddings for Better Diffusibility
AI 导读
针对连续扩散语言模型（DLMs）的潜空间构建，研究发现将嵌入模型扩展至 T5Gemma-2 能提升性能，但其原始嵌入过于判别化易导致采样失败。研究团队通过将 T5Gemma-2 解码概率作为软标签进行知识蒸馏，构建出更连通且易扩散的潜空间。最终中型 DLM 在 OpenWebText 上达到 17.8 的 Gen. PPL（真实文本为 15.4），优于 GPT-2-M。
来源：arXiv 自然语言处理 · arxiv.org