研究揭示稀疏正则化可驱动多任务网络涌现功能模块化

1. 12:00
   arXiv 机器学习

   多任务神经网络中稀疏驱动的功能模块化涌现

   研究表明，稀疏诱导正则化无需预定义模块边界即可促使多任务神经网络涌现功能模块化，并在多层感知机与轻量级 Transformer 中形成任务选择性子网络 functional tokens。这种专用化在训练过程中优先在更深层发展，浅层则保留共享计算。提取出的 functional tokens 无需重新训练即可通过替代路径重组，在保留原有连接与权重下重构复合计算。

当前热度 8·可比范围峰值 10（10月26日 13:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。