arXiv 自然语言处理· Hafsteinn Einarsson·· 5 小时前AI 评分28
超越 IceBERT：基于开源数据训练的 12M 至 1B 参数冰岛语 ModernBERT 编码器
Beyond IceBERT: Open-Data ModernBERT Encoders for Icelandic from 12M to 1B Parameters
AI 导读
研究人员基于 ModernBERT 架构与 9B tokens 开源数据，训练了参数规模从 12M 至 1B 的冰岛语编码器。从头训练的 1B 模型在全部 11 项评测任务中均显著超越基准 IceBERT，采用同架构英文 Ettin 编码器热启动的模型更在所有任务中均取得最高分。实验显示，移植冰岛语词表进行热启动的表现全面不逊于从头训练，且能大幅节省算力成本。
来源：arXiv 自然语言处理 · arxiv.org