Hacker News · AI· bagdaerdev·· 3 小时前精选AI 评分78
Mac 本地大语言模型运行能力与生成速度计算器上线
Show HN: Which Mac runs which LLM, and how fast
AI 导读
开发者推出 Mac 本地大语言模型计算器,可通过芯片统一内存与内存带宽测算各型号 Mac 能否装载特定模型以及预期的生成速度(tokens/sec)。该计算器结合 90.8% 的理论带宽与 3.3 ms 的每 token 固定开销进行建模,实测密集模型误差在 4.6% 以内,并针对 MoE 模型修正了共享层读取开销。测算方法、原始基准测试数据与代码已在 GitHub 以 MIT 协议开源。
推荐理由
工具通过统一内存容量与带宽拟合公式测算各款Mac运行本地大语言模型的配置门槛与生成速度,为端侧硬件选型提供了量化参考。
来源:Hacker News · AI · macyou.co