研究团队提出稀疏文本扩散架构DualBudget

1. 13:00
   arXiv 自然语言处理

   双重预算下的稀疏文本扩散：上下文连通性与专家激活

   一项新研究提出了名为 DualBudget 的稀疏文本扩散配置，将长上下文计算开销解构为注意力图连接与每 token 专家激活双重预算。该方法在科学摘要与多跳问答等任务中评估，在 16K 长度内优于对比基线，但性能随长度增加出现可测量的下降。成本记录显示其相比 DiffuSeq 降低了 20% 的开销，消融实验在三项得分中呈现混合变化。

当前热度 9·可比范围峰值 10（11月2日 14:00）·近 24 小时可比范围变化–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。