研究揭示工作流规划测试时推理缺陷并提审计建议
Start here
2026年11月3日,相关研究团队发布针对DisasterBench结构化工作流规划的测试时推理审计论文。研究发现,名义树搜索并未带来实际的自适应收益,独立采样即可复现其候选发现效果;在工作流选择环节,多数投票机制在10%至19%的任务中未能选出已发现的正确工作流,且工具规范感知验证器推翻的正确决策数量超过了其修复的数量。针对这些测试时推理失效问题,研究建议将推理流水线拆分为候选发现、结构验证与最终选择三个阶段分别进行审计。
AI-generated from reports · Updated 13 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理从表面搜索增益到选择失效:结构化工作流规划中的测试时推理审计
一项针对 DisasterBench 结构化工作流规划的测试时推理审计发现,名义树搜索并未带来实际自适应收益,独立采样即可复现其候选发现。多数投票在 10-19% 的任务中未选出已发现的正确工作流,且工具规范感知验证器推翻的正确决策多于其修复数量。研究建议将推理流水线按候选发现、结构验证与最终选择三个阶段分别进行审计。
Story heat trend
Current heat 6·Comparable peak 9(Nov 3 18:00)·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.