arXiv 自然语言处理· Sugam Karki, Ra\'ul V\'azquez, Yova Kementchedjhieva·· 10 小时前AI 评分32
Vision Transformer 的跨模态对齐与表征层级研究
Reading Between the Layers: Cross-Modal Alignment and Representational Hierarchy in Vision Transformers
AI 导读
研究显示，Vision Transformer 编码器中渲染文本与视觉概念的强跨模态映射仅在最深层出现，且发生在单模态物体与文本识别成熟之后。其表征呈现从字形、语法到语义的层级递进，且该现象在对比学习模型中最显著。扩大模型与数据规模及采用富文本训练数据，能在缺乏显式语言监督时部分支持类似能力。
来源：arXiv 自然语言处理 · arxiv.org