arXiv 自然语言处理· Haowen Tang, Wei Xia, Raoyuan Zhao, Hinrich Sch\"utze, Yihong Liu·· 5 小时前AI 评分34
超越标准准确率:基于像素的语言模型的实用挑战与优势
Beyond Clean Accuracy: The Practical Challenges and Benefits of Pixel-Based Language Models
AI 导读
一项新研究系统评估了基于像素的语言模型的下游微调行为、排版鲁棒性与零样本跨语言迁移表现。测试表明,该类模型虽然在干净英文评测中表现较弱,且微调需要更长训练时间和更广的标注数据,但在排版噪声下的准确率损失显著更低。在两个跨语言基准上,成功适配的像素模型目标语言准确率也高于英文预训练的文本模型。
来源:arXiv 自然语言处理 · arxiv.org