arXiv 机器学习· Marco Miani, Albert Kj{\o}ller Jacobsen, Albert Lopez i Serrano, S{\o}ren Hauberg, Georgios Arvanitidis·· 1 天前AI 评分28
更低的期望 Fisher 秩意味着更好的 PAC 泛化能力
Lower expected Fisher rank implies better PAC generalization
AI 导读
深度学习模型的 PAC-Bayes 高概率泛化误差上界与 Fisher 信息矩阵的期望秩缩放相关，更低的期望 Fisher 秩意味着更好的泛化表现。该研究定义了一种 Fisher 对齐的参数分布，既通过在函数不变性上的探索来确保低损失，又能获得与零特征值数量成比例的大参数对数体积。
来源：arXiv 机器学习 · arxiv.org