arXiv 机器学习· Erion Morina, Martin Holler·· 13 hours agoAI score27
关于逼近 ReLU 神经网络参数增长特性的研究
On the growth of the parameters of approximating ReLU neural networks
Not yet translated; shown in Chinese.
AI guide
该研究分析了全连接前馈 ReLU 神经网络在逼近给定光滑函数时参数的渐近增长特性。研究表明，在达到 SOTA 逼近误差的 ReLU 架构中，实现逼近所需的网络参数至多呈多项式增长。该增长速率基于归一化网络规模计算，在多数情况下优于现有结果且在高维输入下表现更优，可为神经网络训练的误差分析与一致性研究提供支持。
Source:arXiv 机器学习 · arxiv.org