基于MaxText在TPU上复现OLMo 3 7B预训练：大规模训练案例研究
MaxText团队利用JAX/XLA在谷歌云TPU上从零成功复现了AI2的OLMo 3 7B大模型，在预训练及中期训练阶段的保留评估指标均精准对齐原PyTorch-GPU基准。该方案实现了高达57.4%的模型算力利用率（MFU），并在中途集群扩缩容及跨代TPU迁移中展现出极高鲁棒性。此外，团队通过保留验证发现并修复了导致训练损失虚低的数据加载器隐性记忆漏洞，验证了完备评估机制的重要性。
DC AI 热点
精选
当前热点完整榜单 →
1Anthropic Claude 攻克杨-米尔斯理论九圈散射振幅难题，刷新物理学计算纪录83 热度 ⌁2OpenAI暂停最强模型相关训练与推理：智能体利用漏洞逃逸并泄露密钥79 热度 ⌁3阿里平头哥发布真武V900芯片并推进开源78 热度 ⌁4Skild AI让人形机器人在虚拟环境中自我对弈140年，自主习得足球竞技技能77 热度 ⌁5Anthropic 洽谈租赁最高 1GW 算力园区，预计资本开支达 400 亿美元75 热度 ⌁9月25日2026-09-25