arXiv 机器学习· Benhao Huang, Chufan Shi, Junlin Chen, Shicheng Wen, Zhengzhong Liu, Eric Xing, Xuezhe Ma·· 6 小时前AI 评分44
探索循环语言模型的正确设计（第一部分）：拓扑、输入注入与循环状态设计
Towards Looped Models Done Right, Part I: Topology, Input Injection, Recurrent-State Design
AI 导读
研究解构了循环语言模型的拓扑结构、输入注入与循环状态设计，证实 Huginn 架构在密集和 MoE 设定下均显著优于 Ouro。在 730M 参数与 336B tokens 规模下 Huginn 在全部 10 项基准上超越 Ouro，并在 8BA0.8B 的 MoE 规模下延续优势。
来源：arXiv 机器学习 · arxiv.org