arXiv 自然语言处理· Xiaohan Qin, Xiangdong Zhang, Tuo Dai, Sunan Zou, Huaijin Wu, Yebin Yang, Zhuo Xia, Lin Yao, Yuliang Liu, Junchi Yan·· 8 小时前AI 评分40
多流注意力残差（MSAR）架构提出
Multi-Stream Attention Residuals
AI 导读
研究者提出了多流注意力残差（MSAR），将 AttnRes 机制扩展为多头深度注意力，在极小额外开销下提升模型性能。MSAR 利用多尺度因果卷积实现按需展开多流计算与轻量自适应混合，无需持久化多流存储或通信。
来源：arXiv 自然语言处理 · arxiv.org