arXiv 自然语言处理· Kishor Kumar Bhaumik, Nicolas Roque dos Santos, Neil Shah, Jia Chen, Evangelos E. Papalexakis·· 7 小时前AI 评分35
将聚类验证指标作为文本表示学习的自监督目标
Cluster Validation Indices as Self-Supervised Objectives for Text Representation Learning
AI 导读
研究人员提出文本表示学习自监督微调方法 SilK，利用聚类验证指标指导优化，无需数据增强、负样本对或辅助图结构。SilK 仅将文档与 k 个聚类中心进行比较，在 BERT-base 上每轮训练速度比最快基线提升 1.46x，峰值 GPU 显存减少 45.4%。在冻结编码器的线性探测下，其在 3 个下游任务中保持与最佳基线相当的竞争力。
来源：arXiv 自然语言处理 · arxiv.org