为何我们在 2005 年没能做出 GPT-2？

2005 年的顶级超级计算机 BlueGene/L 理论上已能在几十天内完成约 10²¹ FLOPs 的 GPT-2 训练，但当时未能诞生大模型的主因是算法工具缺失以及严重缺乏目标确定性。作者指出大模型发展并非阿波罗登月式的预定工程规划，而是由算力降本、算法演进与资金投入构成的自加速正反馈循环推动。一旦公开演示验证了技术路径的可行性，确定性就会迅速吸引各方跟进并极大缩短研发周期。