arXiv 自然语言处理· Xiaocong Yang, Yuren Hao, ChengXiang Zhai·· 5 小时前AI 评分35
DAGFormer：基于全局拓扑预测的 Transformer 跨层连接模型
DAGFormer: Global Topology Prediction for Transformer Cross-Layer Connections
AI 导读
研究者提出 Transformer 语言模型 DAGFormer，通过联合训练的拓扑预测器一次性规划整网路由，动态控制较早层到较晚层跨层连接的强度。在 75M 至 1B 参数匹配的 OLMo-2 实验中，DAGFormer 将 WikiText-2 困惑度降低 17% 至 25%，训练 5B tokens 的 1B 模型效果优于 10B tokens 的标准模型。
来源：arXiv 自然语言处理 · arxiv.org