arXiv 人工智能· Richard Abrich·· 6 小时前AI 评分39
发现 AppWorld 与 WorkArena 任务验证器的盲点
Finding Blind Spots in AppWorld and WorkArena Task Verifiers
AI 导读
研究通过变异测试审计了 AppWorld 与 WorkArena 的任务验证器,揭示了导致错误判定通过(PASS)的逻辑盲点。在 AppWorld 中,重复非幂等写入构造的 15 个异常效果有 6 个被验证器误判为通过。在 WorkArena 中,23 个获 PASS 判定的额外字段候选用例经独立 Table API 回读确认有 21 个存在持久化错误值。
来源:arXiv 人工智能 · arxiv.org