arXiv 人工智能· Zeyu Yang, Wes Armour·· 14 小时前AI 评分60
开源大语言模型在多基准与硬件下的推理能效实测研究
Measuring the Inference Energy Efficiency of Open-Weight LLMs across Benchmarks, Reasoning Modes, and Hardware
AI 导读
一项新研究对 86 个开源大语言模型 checkpoint 在 7 个基准测试和 6 种硬件平台上的推理能效进行了实测，发现同等能力水平的模型能耗中位数相差 2.6 至 4.8 倍，最高相差达 27 倍。
来源：arXiv 人工智能 · arxiv.org