arXiv 人工智能· Laura Yao, Shixing Yu, Jie Peng, Promit Ghosal, Kyra Gan, Tianlong Chen·· 14 小时前AI 评分35
跨模态潜在影响：视觉语言模型的 Patch 级训练样本归因方法 MOSAIC
Cross-Modal Latent Influence: Patch-Level Training Sample Attribution for Vision-Language Models
AI 导读
研究者提出面向视觉语言模型的归因方法 MOSAIC，通过学习共享的正交稀疏图文潜在空间，实现将训练样本影响精确分解并定位到特定文本短语和图像区域。该方法结合 EK-FAC 解构影响路径，并在 Qwen 和 Gemma 模型上的图像描述、胸部 X 光理解及视觉问答任务中完成评测。实验表明，消融按影响排名的潜在特征对模型输出的改变显著大于按激活或频率排名的特征。
来源：arXiv 人工智能 · arxiv.org