Hacker News · AI· llmpath·· 1 天前精选AI 评分65
PaidinToken 推出本地 GPU 显存与开源大语言模型兼容性计算工具
PaidinToken – Open LLM Token Pricing and Local GPU VRAM Calculator
AI 导读
PaidinToken 上线硬件兼容性查询工具,覆盖从 RTX 3060 至 RTX 5090、Apple Silicon 及数据中心 GPU 等 16 种主流硬件配置。该工具提供各硬件适用的模型规模上限、量化建议、推理速度预估以及一键 Ollama 运行命令,并整理了显存与 KV cache 开销的测算方法与常见问题解答。
推荐理由
该工具梳理了多款显卡与芯片的显存承载上限及推荐量化方案,方便开发者在下载大体积模型前预先评估硬件适配度。
来源:Hacker News · AI · paidintoken.com