跳到正文
原文
Hacker News · AI· fclairamb·· 4 小时前精选AI 评分66

Mac 本地大模型运行模拟器 Simulkit 上线

Show HN: All local LLM(s) on all Apple Devices

AI 导读

Simulkit 推出 Mac 本地大语言模型运行模拟器,支持检测不同 Apple Mac 机型运行各类开源大模型的显存适配情况,并估算读写生成速度。该工具基于公开基准数据校准,可根据指定的上下文长度、量化方式和运行时,细分展示模型权重、KV 缓存与运行缓冲区的内存占用,并给出满足运行速度的最低硬件推荐与价格参考。

推荐理由

该工具量化模拟了不同 Mac 配置下开源模型的显存占用与推理速度,读者可据此快速评估本地大模型部署的硬件选型与成本。

来源:Hacker News · AI · simulkit.com