跳到正文
原文
Hugging Face·· 27 天前精选AI 评分68

NeoMME 原生多模态编码器发布:260M 与 800M 单塔架构开源

NeoMME: an efficient Multimodal-native and Multilingual Encoder

AI 导读

NeoMME 推出 260M 与 800M 原生多语言多模态编码器,采用单塔双向 Transformer 从头预训练,无需独立视觉塔或自回归解码器。微调版 NeoMME-Retriever 在单次前向传播中同时输出稠密与后期交互嵌入,在 ViDoRe v3 达到帕累托最优,并可在单张 NVIDIA L40S 上以每秒 51 页的速度编码 2048×2048 图像。

推荐理由

原文开源了单塔架构的多模态原生编码器与检索微调权重,读者可参考其在视觉文档检索与索引压缩上的落地实践。

来源:Hugging Face · huggingface.co