arXiv 自然语言处理· Marharyta Shvets·2026-10-06 12:00· 3 小时前AI 评分35

边界一致而标签不同：标注者内部动态作为一种训练数据

Boundaries Agree, Labels Do Not: Intra-Annotator Dynamics as a Kind of Training Data

AI 导读

一项研究通过对比人类专家与 3 个 LLM 家族对 3 篇苏美尔神话的多次标注，衡量标注者随时间重读文本的内部动态。结果显示人类在相隔数月的标注中分段边界高度一致但因果标签命名存在系统性位移，而模型缺乏该一致规律。该动态特征可作为衡量训练数据质量及检测模型伪造人类标注的污染检查指标。