arXiv 自然语言处理· Olli Tuomi·· 2 天前AI 评分36
Transformer MLP 门控阈值是与携带参考方向的耦合
Transformer MLP Gate Thresholds Are Couplings to a Carried Reference Direction
AI 导读
Transformer 残差流中的语料均值方向是 MLP 门控群体设定工作点的功能性参考基准。在 Phi-2 中，超过 99.9% 门控的静息抑制由与该参考方向的耦合提供，强度达到显式偏置参数的 48-56 倍，移除该方向投影会使超阈值激活增加约 9 倍。该机制在覆盖显式偏置 GELU 与无偏置 SwiGLU 的多个模型族中均被验证存在。
来源：arXiv 自然语言处理 · arxiv.org