arXiv 机器学习· Angus Hoy, Austin Lutterbach, Jasper Chong, Aman Kumar, Michael J. Smith·· 5 小时前AI 评分33
原生几何与线性可恢复性：对齐如何改变柏拉图缩放定律
Native Geometry vs. Linear Recoverability: How Alignment Changes Platonic Scaling
AI 导读
研究发现模型规模扩大主要提升的是线性可恢复性，而非原生余弦邻域对应关系。基于 Legacy Survey 与 HSC 嵌入在 5 个模型族上的测试表明，Ridge 对齐强化了模型大小与跨数据集邻域对应性的关联，且该效应在降维后依然存在。学习到的映射远离旋转或均匀缩放，SAE 与 BSF 特征相比密集嵌入也未展现优势，未证实模型向共享原生度量几何收敛。
来源：arXiv 机器学习 · arxiv.org