Hacker News · AI· sheephess44·· 8 小时前精选AI 评分77
显卡能跑什么大模型?quantized.uk 实测 117 个量化模型显存占用
Show HN: What LLM fits my GPU? – VRAM measured on real hardware for 117 models
AI 导读
开发者推出大模型显存实测查询网站 quantized.uk,提供 117 个大语言模型在 RTX 4090、RTX 3090、M3 Max 等真实硬件上的显存占用与推理吞吐(tok/s)实测数据。网站涵盖 GGUF 与 AWQ 等量化格式,并提供不同上下文长度下的显存占用对比及 4-bit 量化损耗分析,帮助本地部署用户按显存容量快速匹配合适模型。
推荐理由
该工具基于真实硬件给出了 117 个量化模型的显存占用与推理速度实测数据,读者可按显卡显存快速完成本地部署选型。
来源:Hacker News · AI · quantized.uk