arXiv 自然语言处理· Ziyin Zhang, Yuyu Guo, Ying Zhang, Siqiao Xue, Zihan Liao, Jin Qin, Wenjie Yang, Siyuan Yang, Shijie Li, Cheng Chen, Hao Wu, Zhaoyang Zhu, Ruipeng Li, Zhaokun Jiang, Lei Lei, Rui Wang, Hang Yu, Rui Wang·· 12 小时前AI 评分32
从割裂走向融合：全模态嵌入综述与路线图
From Fragmentation to Fusion: A Survey and Roadmap for Omnimodal Embeddings
AI 导读
针对多模态嵌入模型研究各自割裂的现状，一项新综述提出了全模态嵌入的统一演进框架与路线图。在对比学习与 Transformer 架构等驱动下，跨模态嵌入正走向收敛，论文为此提炼出覆盖度、可比性与组合性三项递进能力。实现统一的路径则依次对应拓展覆盖度的变换、实现可比性的对齐，以及终极面向组合性的联合嵌入。
来源：arXiv 自然语言处理 · arxiv.org