跳到正文
原文
arXiv 人工智能· Dingjie Song, Zhiling Yan, Yuxuan Zhang, Lichao Sun·· 10 小时前AI 评分42

LEV:通过循环决策模型兼顾快速与深度思考

LEV: Thinking Fast and Deep with Looped Decision Models

AI 导读

研究团队提出决策模型 LEV,通过循环运行网络层而非生成 token 进行更深度的思考,实现单个检查点在任意深度作答。在 JevBench 上,2.6B LEV 的准确率从深度 1 的 63.2% 提升至深度 4 的 76.2%,配合按需深度机制可节省 15% 至 24% 的计算量。在 50 ms 以下同延迟测试中,1.4B 和 3B 模型的准确率比稠密模型高出 5.4 至 8.8 个百分点。

来源:arXiv 人工智能 · arxiv.org