arXiv 自然语言处理· G. L. John Salvin (Indian Institute of Technology Palakkad), Swapnil Hingmire (Indian Institute of Technology Palakkad)·· 5 小时前AI 评分35
COMET 跨书写系统可比性研究：诊断与修正印度语言机器翻译中的分词器偏差
Making COMET Comparable Across Scripts: Diagnosis and Correction of Tokeniser-Induced Script Bias in Indic MT Evaluation
AI 导读
研究发现机器翻译评估指标 COMET 存在由分词器引发的书写系统偏差，文字形式差异解释了原生脚本 22.9% 的评分方差，导致跨脚本评分失真。提出的 COMET-QN 通过将各语言与书写系统对的评分分布映射到共享参考系，使与人工标注者的一致性从 0.300 提升至 0.399，并严格保留语内排序。搭配特征回归器还能进一步恢复 17.1% 的损失灵敏度。
来源：arXiv 自然语言处理 · arxiv.org