arXiv 机器学习· Noel Loo, Neehal Tumma, T. Konstantin Rusch, Mathias Lechner, Alexander Amini, Daniela Rus·· 5 小时前AI 评分45
ParaTTT：深层记忆测试时训练层的并行化方法
ParaTTT: Parallelizing Test-Time Training Layers with Deep Memories
AI 导读
研究人员提出 ParaTTT 算法，通过迭代优化内循环梯度轨迹，实现了深层非线性记忆测试时训练（TTT）层的并行化。在 4K context 下，PTTT 评估内循环轨迹比 TTT-MLP 快 32x，340M 模型训练速度提升 4.9x。
来源：arXiv 机器学习 · arxiv.org