基于查询-视觉交互分解的视觉 token 剪枝

研究人员提出免训练的查询感知视觉 token 剪枝方法 QViD，以降低视觉语言模型的高推理成本。该方法基于 Transformer 注意力机制中的查询-视觉交互矩阵呈低秩特性的发现，通过少数主导交互模式精准捕获与查询相关的视觉语义。在图像与视频理解基准测试中，QViD 在相同 token 预算下均实现性能提升，且在激进压缩场景下的表现收益最为显著。