全部 AI 动态

Drift Contract：结合谱更新实现深度鲁棒的局部学习算法

局部学习通过各层独立的辅助损失避免了全局反向传播，具备天然的结构并行优势，但长期受困于深度增加时的精度衰减和超参数脆弱性。该研究首次将类似 Muon 的谱更新几何（包含动量正交化与谱步长缩放）应用于逐层局部更新。在 CIFAR-10 MLP 基准测试中，该方法在深度 12 至 48 层、宽度 128 至 2048 的范围内，仅需单一固定步长即可取得最优表现，显著提升了局部学习对网络深度的鲁棒性。