跳到正文
原文
AITNT · AI头条(网页)·· 5 小时前精选AI 评分77

清华大学团队开源 Puro-2B 预训练方案:基于 RTX 5090 成本最低约 4400 美元

小团队也能预训练!普罗2B:RTX5090训练成本不到5090美元

AI 导读

清华大学陈文光教授与吕凯风教授团队开源了 2B 参数模型 Puro-2B 的全流程预训练方案,完整公开训练数据、框架、配置与模型权重。该方案基于消费级显卡 RTX 5090 集群完成最多 1.4 万亿 token 的预训练,以约 4400 美元和 6900 美元的计算成本分别实现了超过 Qwen2-1.5B 和接近 Qwen2.5-1.5B 的 15 项任务综合表现。

推荐理由

原文给出了基于消费级显卡训练十亿级模型的软硬件协同方案,读者可以据此评估小团队低成本复现预训练的可行性。

来源:AITNT · AI头条(网页) · aitntnews.com