arXiv 人工智能· Zhixu Du, Weijia Han, Hai Helen Li, Yiran Chen·· 3 小时前AI 评分48
单个 Token 成本几何？基于 MoA 测量单 Token 所需算力
What Does a Token Cost? A Mixture-of-Agents Measurement of Sufficient Per-Token Compute
AI 导读
一项研究通过涵盖 Qwen、OLMo 和 R1 蒸馏系列的 15 个模型构建 MoA 架构，测量单 token 实际所需的充足算力，发现在三个核心基准上 0.5B 模型即可复现 92%–95% 的参考 token，而最复杂的 10% token 消耗了 64%–80% 的 FLOPs。
来源：arXiv 人工智能 · arxiv.org