arXiv 自然语言处理· Rajdeep Pal, Jotiraditya Banerjee, Saptarshi Pani·· 18 時間前AI スコア32
GAVAGAI：基于平衡最优传输的婴儿级视觉语言模型指称对齐
GAVAGAI: Referential Alignment for Infant-Scale Vision-Language Models via Balanced Optimal Transport
未翻訳のため中国語で表示しています。
AI ガイド
研究提出指称对齐方法 GAVAGAI，通过平衡最优传输将实词与视觉区域对齐，提升婴儿规模视觉语言模型的词图绑定能力。该方法通过引入 NOTHING 列过滤不可见词并施加区域容量约束，仅需约 8 次 Sinkhorn 迭代。在 SAYCam 语料库上，该损失使模型图词准确率从 32.4% 提升至 48.7%，定位 IoU 从 0.18 增至 0.38。
出典：arXiv 自然语言处理 · arxiv.org