arXiv 自然语言处理· Alexander Nemecek, Yuqiao Xu, Joseph Falkenburg, Erman Ayday·· 6 小时前AI 评分36
同形字与不可见字符水印跨语言公平性研究:摆脱分词器仍存差距
No Tokenizer, Still a Gap: Cross-Lingual Fairness of Homoglyph and Invisible-Character Watermarking
AI 导读
针对 24 种文字系统共 40 种语言变体的研究显示,摆脱分词器的同形字与不可见字符文本水印仍存在跨语言不平等,水印容量差异达 3.3 倍。文字系统解释了 96% 的容量变异,低资源语言因所用文字同形字较少而容量受限。在常规复制粘贴剥离不可见字符后,检测器识别英语或波斯语仅需约 2 个码点,老挝语则需 93 个。
来源:arXiv 自然语言处理 · arxiv.org