AIDC
← 返回全部动态
量子位AI 评分 60/10009月26日 17:01

开源项目Colibrì引发关注:尝试将SSD作为虚拟显存以在无GPU设备上运行超大模型

开源项目Colibrì(小蜂鸟)近期在GitHub引发关注。该项目探索通过利用固态硬盘(SSD)充当虚拟显存与内存扩展,旨在降低超大参数语言模型(如GLM等)的硬件运行门槛,尝试实现无独立GPU或低配置笔记本环境下的模型加载与推理探索。素材信息量较少,具体推理延迟与工程实用性仍待实际场景检验。

推荐理由关注低资源环境下运行大模型的极端工程优化探索,虽实用速度存疑但技术思路具备一定讨论度。

原标题:笔记本跑7000亿参数GLM!无GPU也行? SSD当显存用火爆GitHub

阅读 量子位 原文 ↗