arXiv 自然语言处理· Abdul Rehman Antall, Baidya Nath Saha·· 9 小时前AI 评分32
分词是否需要形态学正确性？基于塔加洛语的对照研究
Does Morphological Correctness Matter for Tokenization? A Scrambled Control Study in Tagalog
AI 导读
研究人员构建了针对塔加洛语的分词器 MorphAustro-Tok，在机器翻译任务中相比匹配的 BPE 基线分别取得了 0.84、1.49 和 3.40 的平均句子级 chrF++ 分数提升。打乱形态分析的对照实验显示，其增益变动小于不同随机种子间的离散度，表明在该规模下未检测到形态学正确性对性能的贡献。
来源：arXiv 自然语言处理 · arxiv.org