arXiv 机器学习· Joonhyeok Jeong, Jy-yong Sohn, Kibok Lee·· 10 小时前AI 评分34
反思长尾数据下有监督对比学习的表征几何结构
Rethinking Representation Geometry in Supervised Contrastive Learning under Long-Tailed Data
AI 导读
针对长尾分布下的有监督对比学习,新研究提出了表征几何理论分析框架,证明现有代表性目标函数因依赖每类样本数而无法在最优点形成正则单纯形(regular simplex)几何结构。为此,研究团队提出结构平衡方法并构建了完全平衡对比目标函数,从理论上保证其在最优点形成正则单纯形。实证结果显示,该方法能带来更平衡的表征空间,有效提升长尾识别与迁移学习任务的表现。
来源:arXiv 机器学习 · arxiv.org