arXiv 自然语言处理· Jungwoo Park, Taewhoo Lee, Jaewoo Kang·· 10 小时前AI 评分41
UltraBERT：突破 BERT 预训练极限
UltraBERT: Beyond the Limit of BERT Pre-Training
AI 导读
研究人员推出双向编码器 UltraBERT，通过重构预训练策略在分类与检索两类任务上均取得 SOTA 表现。该模型在同个 batch 内为低掩码率和高掩码率分别分配独立的 LM head，并将剪枝蒸馏目标限制在低掩码率。UltraBERT 在 GLUE 基准上达到 91.0 分，在 BEIR 基准上达到 47.7 分。
来源：arXiv 自然语言处理 · arxiv.org