arXiv 机器学习· Liang Nathan Zheng, Jiyuan Liu, Wenhao Liang, Wei Emma Zhang, Weitong Chen, Lin Yue·· 4 小时前AI 评分31
TWIN-MoE：用于不完整多模态学习的两阶段专家内插补网络
TWIN-MoE: Two-stage Intra-Expert Imputation Network for Incomplete Multimodal Learning
AI 导读
研究人员提出 TWIN 两阶段专家内插补框架，用于解决 MoE 在处理缺失多模态时扩展性差或检索成本高的问题。该方法在预插补阶段利用 FIFO 队列统计信息进行径向软裁剪，后插补阶段则在 MoE 处理后聚合专家条件下的已观测表征进行精炼。在自然、随机和非对称丢弃协议下的 4 个缺失模态基准测试中，TWIN 实现了 SOTA 性能，且参数量显著少于同类基于 MoE 的插补方法。
来源：arXiv 机器学习 · arxiv.org