跳到正文
热点事件持续更新

Spectra Labs推出混合优化器SpectraAdamW

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月9日,Spectra Labs推出混合优化器SpectraAdamW,作为PyTorch中AdamW的即插即用替代方案。该技术通过分解方差近似与基于FFT的频域动量压缩,可在保持全精度收敛特性的同时,将大语言模型训练的优化器状态显存开销降低50%。在微调8B模型时,优化器显存可由约32GB降至约16GB。目前其Python POC已开放验证,C++ CUDA后端处于闭测阶段。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. Hacker News · AI
    Spectra:将大语言模型训练显存降低 50% 的即插即用优化器

    Spectra Labs 推出混合优化器 SpectraAdamW,作为 PyTorch 中 AdamW 的即插即用替代方案,可将大语言模型训练的优化器状态显存开销降低 50% 并保持全精度收敛特性。该技术通过分解方差近似与基于 FFT 的频域动量压缩实现,微调 8B 模型时优化器显存可由约 32GB 降至约 16GB。目前 Python POC 已开放验证,C++ CUDA 后端处于闭测阶段。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。