arXiv 机器学习· Hanxin Zhang·· 10 小时前AI 评分38
TurboMamba 架构推出：结合词汇记忆实现更快训练与推理
TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory
AI 导读
研究人员提出大语言模型架构 TurboMamba，通过全局 Mamba-3 处理完成的 token 块，并结合小型 Transformer 与词汇记忆机制预测下一个 token。在 FineWeb-Edu 评测中，TurboMamba 的平均测试 NLL 较 Mamba-3 降低 9.4%，端到端训练吞吐量为其 2.60x。在 32 批次生成测试中，其推理速度比 Mamba-3 提升 3.12x。
来源：arXiv 机器学习 · arxiv.org