arXiv 人工智能· Xinyu Chen, Liangjian Wen, Jiang Duan, Dongkai Wang, Yong Dai, Jiayu Bai, Jianzhuang Liu, Zhen Tian, Guoping Qiu, Zhao Kan·· 5 小时前AI 评分36
MSCR：兼顾跨模态利用率平衡与协同信息挖掘的多模态融合方法
MSCR: Jointly Balancing Utilization Across Modalities and Discovering Synergistic Information
AI 导读
研究人员提出多模态协同竞争正则化器（MSCR），在平衡各模态利用率的同时促进跨模态协同信息的挖掘。该方法包含抑制单一模态过度主导的抗主导目标、促使融合预测超越单模态参考的协同目标，并通过自适应门控强化重点样本的正则化。在 5 个基准测试中，MSCR 性能均优于 MCR，并在 Transformer 架构下保持增益，相关代码已开源。
来源：arXiv 人工智能 · arxiv.org