arXiv 人工智能· Robert Moseley, Md Kaykobad Reza, Ameya Patil, Edward Ayrapetian, Salman Asif·· 10 小时前AI 评分42
MSP：无需配对跨模态数据训练多模态大语言模型的模态自我博弈框架
MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal Data
AI 导读
研究人员提出多模态大语言模型训练框架 MSP，通过代理文本描述作为语义桥梁，摆脱了对真实非文本配对跨模态数据的依赖。模型在给定图像或音频等已知模态时生成未知模态的代理描述，并借助预训练编码器实现跨模态对齐与零样本多模态组合推理。实验显示，MSP 在多个多模态基准评测中达到了 SOTA 或具有竞争力的表现。
来源：arXiv 人工智能 · arxiv.org