如何在 6GB 显存笔记本上预训练 1.1B 参数大语言模型

开发者通过分块轮换训练、系统内存卸载与激活值重计算等显存优化方法，成功在 6GB 显存笔记本显卡上跑通 1.1B 参数大语言模型的端到端预训练流程。实测训练单步耗时 12.335 秒，显存峰值占用 5.24GB，处理速度为 2,656 tokens/s，完整预训练预估需 132 至 211 天。