arXiv 自然语言处理· Yihan Li, Hanyi Zhang, Xiaoxi Jiang, Man Guo·· 4 小时前AI 评分36
Goldsmith:基于黄金损失引导的定义优化与智能体标注框架
Goldsmith: Gold-Loss-Guided Definition Optimization with an Agentic Annotation Harness
AI 导读
研究人员提出 Goldsmith 智能体流水线,可将少量专家标注的黄金样本转化为可复用的结构化标注定义。该方法将定义视为可训练文本对象,通过结构化损失评分与 LLM 文本梯度修订进行迭代优化,性能优于直接重写、OPRO、APE 和 PromptBreeder。生成的定义在类型跨度、实体对关系及事件论元等下游标注任务中均取得显著提升。
来源:arXiv 自然语言处理 · arxiv.org