热点事件持续更新
Q Labs推出无需反向传播的预训练算法Dust
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月6日，Q Labs提出了一种名为Dust的零阶优化算法，实现了无需反向传播的Transformer语言模型预训练。该方法通过在每个token独立扰动激活值来构建虚拟种群。在性能方面，Dust比前沿进化策略EGGROLL的效率高出10³到10⁴倍，并且243M参数模型的种群效率优于小120倍的模型。测试显示，其梯度估计在最高1B tokens规模下均与反向传播保持良好对齐。
AI 根据报道生成 · 2 小时前更新
最新进展10月6日 10:07
Q Labs提出零阶优化算法Dust，实现无需反向传播的Transformer预训练。报道时间线
沿着报道，了解事件的不同侧面。
10月6日
- Buzzing HN · 中文精选Dust：无需反向传播的 Transformer 预训练
Q Labs 提出零阶优化算法 Dust，通过在每个 token 独立扰动激活值构建虚拟种群，实现了无需反向传播的 Transformer 语言模型预训练。该方法比前沿进化策略 EGGROLL 效率高出 $10^3$ 到 $10^4$ 倍，且 243M 参数模型的种群效率优于小 120 倍的模型。其梯度估计在测试的最高 1B tokens 规模下均与反向传播保持良好对齐。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。