Dust：无需反向传播的 Transformer 预训练

Q Labs 提出零阶优化算法 Dust，通过在每个 token 独立扰动激活值构建虚拟种群，实现了无需反向传播的 Transformer 语言模型预训练。该方法比前沿进化策略 EGGROLL 效率高出 $10^3$ 到 $10^4$ 倍，且 243M 参数模型的种群效率优于小 120 倍的模型。其梯度估计在测试的最高 1B tokens 规模下均与反向传播保持良好对齐。