多任务神经网络中稀疏驱动的功能模块化涌现

研究表明，稀疏诱导正则化无需预定义模块边界即可促使多任务神经网络涌现功能模块化，并在多层感知机与轻量级 Transformer 中形成任务选择性子网络 functional tokens。这种专用化在训练过程中优先在更深层发展，浅层则保留共享计算。提取出的 functional tokens 无需重新训练即可通过替代路径重组，在保留原有连接与权重下重构复合计算。