Hacker News · AI· henriquegogo·· 2 小时前精选AI 评分70
CLI 工具 lowvram 发布：通过 CUDA 显存拦截在低显存 GPU 运行大模型
Lowvram: A CLI tool to run large AI models in low VRAM GPUs
AI 导读
开发者开源 CLI 工具 lowvram，通过拦截底层 CUDA 调用将 cuMemAlloc 替换为托管内存，使消费级低显存 GPU 无需修改源码即可运行大模型。
推荐理由
该工具通过底层拦截将 CUDA 显存分配重定向为统一内存，为低显存显卡运行大模型提供了免改动应用源码的可复用方案。
来源：Hacker News · AI · soarhen.com