连续扩散语言模型推理突破：ELF-REG将连续扩散架构扩展至数学与代码任务
该研究针对全连续扩散语言模型（dLM）在复杂推理任务中落后于自回归（AR）模型的难题，提出了ELF-REG架构。研究团队将嵌入语言流（ELF）拓展至GSM8K、MATH-500、HumanEval等数学与代码基准，并引入结合表征对齐与纠缠的机制（REPA+REG），通过冻结的AR教师模型监督中间去噪步骤，有效提升了连续扩散模型并行解码与复杂逻辑推理的扩展能力。
DC AI 热点
全部 AI 动态
9月25日2026-09-25
受控实验复检极小规模三值语言模型：基线架构设置主导性能评估结论
该研究针对微控制器级的三值（1.58-bit）权重语言模型进行了严格的受控复验。此前有研究称混合路由三值模块在6万参数规模下性能超越参数匹配的全精度Transformer达22%，并归因于归纳偏置。研究人员通过固定训练配方、多随机种子及98次测试进行复查，发现基线Transformer的具体结构形状对性能起主导作用，揭示了此前结论可能受基线设计差异误导，强调了极小模型对比的评估规范。
流式全双工语音模型中的主动附和反馈控制研究
该研究针对全双工语音对话模型缺乏显式自然附和（如“嗯”、“对”等应答词）的问题，提出了一种轻量级预测头结构。该机制直接利用全双工模型自身的隐藏状态来预测附和时机，当概率超过设定阈值时即强制解码生成反馈。实验在7B规模的PersonaPlex和1B规模的F-Actor模型上验证了该方法的跨尺度泛化能力，探针分析也证实其隐藏状态能够有效契合人类真实的交谈节奏。
9月24日2026-09-24
Ruby-ASR：面向正字法与词汇读音联合识别的语音识别监督新方法
针对传统日语自动语音识别（ASR）以正字法文本作为监督目标导致相同书写形式无法区分不同实际发音、且事后文本转音素难以可靠恢复的问题，研究团队提出了 Ruby-ASR。该方法将传统的单一文本监督目标改进为跨度绑定的正字法与词汇读音联合序列，通过类旁注标记（ruby）的表示形式，完整保留了语音中的读音证据，有效提升了复杂读音场景下的识别监督精度。
MORSE：通过反向评分优化多上下文排序以实现证据保留压缩
该研究探讨了基于似然的多上下文压缩技术对上下文输入顺序的高度敏感性问题。实验表明，相同上下文集合的不同排列顺序会导致显著不同的关键证据保留结果。论文将这种敏感性归因于“信息抢占”现象，即较早出现的部分相关上下文会提前消耗共享信息的置信度权重，从而压低后续更关键证据载体的增量评分，大幅增加强证据被错误删除的风险。研究通过受控干预实验深入分析了该机制。
DPara：结合并行草稿器与并行投机解码的高效推理框架
针对大模型推理加速，现有并行投机解码（PSD）虽能重叠草稿生成与验证过程，但往往依赖对接受前缀和额外标记的预先猜测，猜错会导致批处理回退至低效的串行起草。论文提出 DPara 框架，在复用高效并行草稿器的同时，确保目标模型验证与起草阶段在每一轮均实现重叠，彻底消除了概率性回退缺陷，保障了投机解码流水线的高效利用。注：素材末尾存在文本截断。