热点事件持续更新
研究团队通过扩展与蒸馏文本嵌入优化扩散语言模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月2日，针对连续扩散语言模型（DLMs）的潜空间构建，研究人员发现将嵌入模型扩展至 T5Gemma-2 能提升性能，但其原始嵌入过于判别化，容易导致采样失败。对此，研究团队提出将 T5Gemma-2 解码概率作为软标签进行知识蒸馏，从而构建出更连通且易于扩散的潜空间。评估结果显示，采用该方案的中型 DLM 在 OpenWebText 上取得了 17.8 的生成困惑度（Gen. PPL，真实文本为 15.4），表现优于 GPT-2-M。
AI 根据报道生成 · 2 小时前更新
最新进展10月2日 12:00
研究团队通过扩展与蒸馏文本嵌入构建易扩散潜空间，使中型DLM生成困惑度优于GPT-2-M。报道时间线
沿着报道，了解事件的不同侧面。
10月2日
- arXiv 自然语言处理扩展与蒸馏文本嵌入向量以提升可扩散性
针对连续扩散语言模型（DLMs）的潜空间构建，研究发现将嵌入模型扩展至 T5Gemma-2 能提升性能，但其原始嵌入过于判别化易导致采样失败。研究团队通过将 T5Gemma-2 解码概率作为软标签进行知识蒸馏，构建出更连通且易扩散的潜空间。最终中型 DLM 在 OpenWebText 上达到 17.8 的 Gen. PPL（真实文本为 15.4），优于 GPT-2-M。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。