Hacker News · AI· upulbandara·· 6 小时前AI 评分55
开发者开源 Build-GPT-2：4 块 A40 耗时 2.8 小时从零训练 124M 模型
Show HN: GPT-2 124M trained from scratch – 2.48B tokens, 2.8h on 4 A40s
AI 导读
开发者开源了从零训练 GPT-2 124M 模型的轻量工程代码库 Build-GPT-2，在 4 块 NVIDIA A40 上耗时 2.8 小时完成了 2.48B token 的 FineWeb-Edu 预训练。
来源：Hacker News · AI · github.com