arXiv 机器学习· Jingquan Yan, Yuwei Miao, Peiran Yu, Junzhou Huang·· 9 小时前AI 评分35
B2P-Corr：面向不可分解相关性损失的批次到总体梯度估计器
B2P-Corr: Batch-to-Population Gradient Estimators for Non-Decomposable Correlation Losses
AI 导读
研究人员提出 B2P-Corr 框架，利用轻量全局矩草图将不可分解的相关性目标转化为可分解伪损失，解决 mini-batch 训练中的梯度偏差与高方差问题。该框架推出了计算复杂度均为 O(B) 的 B2P-EMA 与 B2P-U 两种高效变体。在合成与真实数据集上的实验表明，B2P-Corr 以极低开销实现了更稳定的优化与更高相关性。
来源：arXiv 机器学习 · arxiv.org