Hacker News · AI· sardor_r1·· 3 小时前AI 评分50
Vramkit 开源：面向 LLM 推理的无损显存与 KV-cache 压缩工具
Show HN: Vramkit – lossless VRAM compression for LLM inference, on a MacBook
AI 导读
开发者开源了面向 LLM 推理的显存压缩工具 Vramkit，在 MacBook 上实现了针对模型权重和 KV-cache 的压缩方案。
来源：Hacker News · AI · github.com