Q Labs 推出零阶优化方法 Dust：无需反向传播预训练 Transformer

Q Labs 推出零阶优化方法 Dust，通过在激活空间添加 token 级扰动构建“虚拟种群”，实现了无需反向传播的 Transformer 预训练。该方法在最高 243M 参数与 20M token 预算下验证有效，扩大采样时梯度估计可逼近反向传播。但 Dust 当前计算成本远高于反向传播，在更大规模下的效率与替代可行性仍待检验。