arXiv 自然语言处理· Binayak Mukherjeea, Moitreya Nandi, Arindam Panja·· 5 小时前AI 评分30
AdaptTok-Indic：面向印度语言的脚本感知自适应分词
AdaptTok-Indic: Script-Aware Adaptive Tokenization for Indic Languages
AI 导读
研究人员推出面向印度语言的自适应分词方法 AdaptTok-Indic，通过脚本感知路由与字节级边界预测降低分词膨胀率。其在孟加拉语和印地语上的平均 token fertility 分别降至 1.432 和 1.388，远低于 SentencePiece BPE 的 2.156 与 2.085。该小规模原型在下游任务中平均得分为 57.69，优于基线配置的 50.82。
来源：arXiv 自然语言处理 · arxiv.org