arXiv 自然语言处理· Tong Lin, Grant Schoenebeck, Sabina Tomkins·2026-10-20 12:00· 3 小时前AI 评分35

这款 LLM 能标注我的数据吗？评估零样本 LLM 性能

Can This LLM Annotate My Data? Estimating Zero-Shot LLM Performance

AI 导读

研究人员通过构建包含 461 个文本分类数据集的两个任务族，探索预测 LLM 在新数据集上标注表现的可行性。研究发现 LLM 的性能在一定程度上是可以预测的。与强调模型口头表达自信度有效性的其他研究不同，模型内部对数概率（log-probabilities）才是最具预测性的信号。