Hacker News · AI· fclairamb·· 4 小时前精选AI 评分66
Mac 本地大模型运行模拟器 Simulkit 上线
Show HN: All local LLM(s) on all Apple Devices
AI 导读
Simulkit 推出 Mac 本地大语言模型运行模拟器,支持检测不同 Apple Mac 机型运行各类开源大模型的显存适配情况,并估算读写生成速度。该工具基于公开基准数据校准,可根据指定的上下文长度、量化方式和运行时,细分展示模型权重、KV 缓存与运行缓冲区的内存占用,并给出满足运行速度的最低硬件推荐与价格参考。
推荐理由
该工具量化模拟了不同 Mac 配置下开源模型的显存占用与推理速度,读者可据此快速评估本地大模型部署的硬件选型与成本。
来源:Hacker News · AI · simulkit.com