arXiv 自然语言处理· David Harwath, Desh Raj, Xavier Velez, Sandra Arcos-Holzinger, Willie Jeng, Karen Livescu, Leibny Paola Garcia-Perera, Sanjeev Khudanpur·· 5 小时前AI 评分43
无编码器多模态 LLM 能够学习到隐式编码器
Encoder-Free Multimodal LLMs Learn Implicit Encoders
AI 导读
研究人员针对 Gemma-4 12B 与 Inkling-Small 两款无编码器多模态 LLM 展开实证分析，发现两者的早期层实际起到了“隐式编码器”的作用。在执行多模态推理任务时，在这些早期层对模态进行独立编码，能够取得与从第一层起联合编码相同的准确率。分层探测分析进一步表明，隐式编码器捕获显著信息的表现与数个主流专用编码器类似。
来源：arXiv 自然语言处理 · arxiv.org