arXiv 人工智能· Tianyu Yang, Yijun Tian, Lars Benedikt Kaesberg, Jan Philip Wahle, Bela Gipp, Terry Ruas, Daniel Kurzawe·· 9 小时前AI 评分34
超越事后奖励：多模态嵌入的特权推理探索
Beyond Post-Hoc Rewards: Privileged Reasoning Exploration for Multimodal Embeddings
AI 导读
研究提出 PILOT 框架，利用训练时关系证据引导多模态大模型（MLLM）的特权推理探索，以优化多模态嵌入生成。在包含 78 项任务的 MMEB-V2 基准测试中，PILOT 在 2B 和 7B 参数规模下均覆盖全部 12 个任务组超越主要基线，总分分别提升 3.2 和 3.3 分。其中视觉文档检索任务提升最为显著，分别实现 6.1 与 6.4 分的增益。
来源：arXiv 人工智能 · arxiv.org