arXiv 自然语言处理· Alexandros Christoforos, Chadbourne Davis, Paul Raj·· 13 hours agoAI score32
双重预算下的稀疏文本扩散：上下文连通性与专家激活
Sparse Text Diffusion under Dual Budgets: Context Connectivity and Expert Activation
Not yet translated; shown in Chinese.
AI guide
一项新研究提出了名为 DualBudget 的稀疏文本扩散配置，将长上下文计算开销解构为注意力图连接与每 token 专家激活双重预算。该方法在科学摘要与多跳问答等任务中评估，在 16K 长度内优于对比基线，但性能随长度增加出现可测量的下降。成本记录显示其相比 DiffuSeq 降低了 20% 的开销，消融实验在三项得分中呈现混合变化。
Source:arXiv 自然语言处理 · arxiv.org