arXiv 自然语言处理· Andrei Marchenko, Viacheslav Bezrukov, Oleg Kashurin, Inessa Fedorova, Dmitry Bocharov, Yuliana Shakhvalieva, Maria Tikhonova, Valerii Ternovskii·· 5 小时前AI 评分43
循环语言模型的实用训练方案
Closing the Loop: Practical Training Recipes for Looped Language Models
AI 导读
研究人员提出了循环语言模型（Looped Language Models）的高效训练配方，将从头训练预算从 7.7T tokens 大幅降至 310B tokens。
来源：arXiv 自然语言处理 · arxiv.org