研究团队提出稀疏文本扩散架构DualBudget

1. 13:00
   arXiv 自然语言处理

   双重预算下的稀疏文本扩散：上下文连通性与专家激活

   一项新研究提出了名为 DualBudget 的稀疏文本扩散配置，将长上下文计算开销解构为注意力图连接与每 token 专家激活双重预算。该方法在科学摘要与多跳问答等任务中评估，在 16K 长度内优于对比基线，但性能随长度增加出现可测量的下降。成本记录显示其相比 DiffuSeq 降低了 20% 的开销，消融实验在三项得分中呈现混合变化。

Current heat 3·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours-49%

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.