arXiv 自然语言处理· Noureddine Khaous (LLF - UMR7110, UPCit\'e), Guillaume Wisniewski (LLF - UMR7110, UPCit\'e)·· 5 小时前AI 评分34
更好的指标无法拯救表征相似度:对比对象比对比方法更关键
A Better Metric Will Not Save You: What You Compare Beats How You Compare It
AI 导读
研究发现表征相似度指标(RSA、CKA、Procrustes)无法克服输入选择与分组带来的偏差,对比对象的影响远大于对比方法本身。在跨 15 种语言和 27 种表征的元音测试中,保持类别数量不变仅改变对比类别,会导致两种表征间的差距变动超过被测效应本身的两倍,而改变类别数量则完全不影响差距。在此设定下,模型排名受此类选择约束,而跨语言排名则无法被确定。
来源:arXiv 自然语言处理 · arxiv.org