arXiv 机器学习· Behrooz Tahmasebi, Melanie Weber·· 8 小时前AI 评分29
尺寸泛化的无维度缩放法则:指数级分离
Dimension-Free Scaling Laws for Size Generalization: An Exponential Separation
AI 导读
研究提出了尺寸泛化的统计学习理论,证明跨尺寸泛化与域内学习在样本复杂度上存在指数级分离。在训练样本数 n 的多项式源衰减条件下,域内误差为 $n^{-\Theta(1)}$,但尺寸泛化误差仅按 $(\log n)^{-\Theta(1)}$ 衰减,样本复杂度恶化为指数级。论文随后给出了恢复多项式复杂度的指数源条件及匹配的极小化极大下界,建立了首个与输入维度无关的最优缩放法则。
来源:arXiv 机器学习 · arxiv.org