arXiv 自然语言处理· Yilin Jiang, Fei Tan, Xuanyu Yin, Guanchu Wang, Xia Hu, Yutao Yue·· 5 小时前AI 评分48
衡量并减少 LLM Agent 的不可用回复
Measuring and Reducing Unusable Replies of LLM Agents
AI 导读
研究提出了衡量 LLM Agent 回复可用性的方法，测试发现来自 7 个模型族的 8 个模型在 480 条回复中失败率达 54%，即使表现最好的模型失败率也达 30%。失败回复主要表现为引用请求者未见过的材料或使用 Agent 过程中自造的标签。研究表明，明确回复要求可将失败率从 0.52 降至 0.43，引入二级模型重写回复则可进一步降至 0.36。
来源：arXiv 自然语言处理 · arxiv.org