arXiv 人工智能· Haowen Bai, Rui Gong$, Meichen Liu, Ming-Xuan Weng, Bihan Wen, Kim-Hui Yap·· 3 小时前AI 评分34
MM-LeJEPA：面向多模态联合嵌入预测架构的相关高斯正则化
MM-LeJEPA: Correlated Gaussian Regularization for Multimodal Joint-Embedding Predictive Architectures
AI 导读
研究人员提出 MM-LeJEPA，将 LeJEPA 扩展至多模态学习领域。该方法通过将多模态任务建模为独立信息与共享内容的加权组合，在理论假设下推导出相关高斯目标，并通过解析变换将 SIGReg 适配至该目标，仅增加一个目标跨模态相关性标量超参数。在公开音视频分类基准测试中，其取得了与代表性开源方法相当的表现，相关代码将开源。
来源：arXiv 人工智能 · arxiv.org