arXiv 自然语言处理· Jia Wang, Yuqing Li, Jiangnan Li, Zheng Lin, Mo Yu·· 11 小时前AI 评分35
深入探究 MLLM 的检索头机制
A Broader Look into MLLM's Retrieval Heads
AI 导读
研究分析了多模态大语言模型（MLLM）的检索头机制，发现跨模态共享检索头占比不足 2%，且全模态模型大体保留了骨干网络的检索头。消融这些检索头会消除几乎所有视听检索能力，并导致文档理解、空间感知和视觉数学性能下降。通过排序目标训练优化检索头注意力，使 Qwen3-VL-8B 在 MMDocIR 上的页面 Recall@1 提升 6.03 个点。
来源：arXiv 自然语言处理 · arxiv.org