arXiv 自然语言处理· Jing Chen, Giulia Loca, Simona Amenta, Marco Marelli·· 3 小时前AI 评分33
以伪词为探针：LLM 缺乏主导人类伪词处理的亚词级敏感性
Pseudowords as probes: Large Language Models show little of the sublexical sensitivity that governs human pseudoword processing
AI 导读
研究团队通过两项意大利语二选一伪词实验测试了 5 个 LLM，发现大语言模型缺乏主导人类伪词处理的亚词级敏感性。在纯伪词测试中，LLM 的表现大幅落后于字符 n-gram 模型 fastText，且其 reasoning token 消耗与人类处理难度并无一致关联。研究表明 LLM 未能共享人类的亚词线索，分词机制（tokenization）与训练数据覆盖度是潜在解释。
来源：arXiv 自然语言处理 · arxiv.org