缓解显著性坍塌：RoSA 提出面向长文本图文对齐的显著感知微调框架

研究人员提出显著感知微调框架 RoSA，旨在缓解长文本图文对齐中模型过度依赖视觉显著文本而忽视非显著上下文的“显著性坍塌”问题。该框架结合目标级视觉显著性估计与基于 LLM 的文本分解，将图文对拆分为互补的显著与上下文视图并引入辅助目标联合对齐。实验表明 RoSA 显著提升了长文本检索性能与鲁棒性，其辅助目标具备即插即用特性，代码和模型权重已开源。