跳到正文
原文
arXiv 自然语言处理· Shuai Wang, Rui Hu·· 6 小时前AI 评分29

当相反前提被译为相同文本:针对多语言常识评测项的源端条件诊断方法

When Opposite Premises Translate Identically: A Source-Conditioned Diagnostic for Multilingual Commonsense Items

AI 导读

研究人员针对 ACCORD 前提提出一种源端对比诊断方法,通过反转英文极性并独立翻译两端,检测目标语言中出现完全相同输出的翻译冲突。在 5 种目标语言与 3 个翻译检查点的测试中,斯瓦希里语在各检查点 710 对样本中分别出现 63、113 和 67 次完全冲突。针对 NLLB-3.3B 产生的 113 次冲突,往返 NLI 仅判定其中 3 次的双臂均合格,而 LaBSE 则通过了 78 次。

来源:arXiv 自然语言处理 · arxiv.org