arXiv 自然语言处理· Dipto Sumit, Mahima Mahzabin Sandria, Farig Sadeque, Md. Golam Rabiul Alam·· 16 小时前AI 评分35
Token 并非难度单位：分词控制词内自适应计算的分配
A Token Is Not a Unit of Difficulty: Segmentation Controls Where Adaptive Computation Goes Inside a Word
AI 导读
研究表明分词切分方式控制着早退大语言模型在词内部的自适应计算分配。在千问（Qwen3）等模型中，置信度停止机制在英语中分配给词后续片段的计算少于首个片段，而在孟加拉语中恰恰相反，词内惊奇度解释了 75% 的差距方差。此外，学习型停止头虽优于置信度停止 7 到 8 点，但在同等成本下相较最佳固定退出组合提升不足 1 点。
来源：arXiv 自然语言处理 · arxiv.org