arXiv 自然语言处理· Jianpeng Cheng, Guangyu Sun, Aashu Singh, Benyu Zhang, Haixing Dai, Hossein Mansour, Jiangfan Zhang, Shlok Kumar Mishra, Wei Sun, Xuanming Cui, Yanli Liu, Qi Guo, Max Xiangjun Fan, Jun Xiao·· 4 小时前AI 评分37
MetaEncoder：探索用于自然语言接口多模态 System One 决策的双编码器极限
MetaEncoder: Exploring the Limit of Bi-Encoders for Multimodal System One Decision Making with Natural Language Interface
AI 导读
MetaEncoder 通过将预训练 Muse-Glimmer 30B 解码器微调为指令遵循型决策编码器，构建了完全基于自然语言与多模态输入的 System One 决策框架。该模型采用双编码器架构及单向对比学习，可同时支持小于 256 项的闭集与百万级开集候选空间。在 11 个基准套件、190 项任务评估中，MetaEncoder 表现超越了现有 SOTA 多模态编码器。
来源：arXiv 自然语言处理 · arxiv.org