基于蒸馏最优传输的少配对数据表征对齐方法

新研究提出一种基于蒸馏最优传输的表征对齐方法，仅需 100-500 个配对锚点即可对齐两个独立预训练的单模态编码器。该方法通过锚点相似度构建公共坐标系，利用熵正则化最优传输匹配点云以克服最近邻 hubness 现象，并将传输方案蒸馏至轻量编码器中实现归纳对应。在 Flickr30k、MS-COCO 和 ChEBI-20 的图像-文本及分子-文本对齐评测中，该方法均超越现有方案。