跳到正文
原文
arXiv 人工智能· Richard Abrich·· 6 小时前AI 评分39

发现 AppWorld 与 WorkArena 任务验证器的盲点

Finding Blind Spots in AppWorld and WorkArena Task Verifiers

AI 导读

研究通过变异测试审计了 AppWorld 与 WorkArena 的任务验证器,揭示了导致错误判定通过(PASS)的逻辑盲点。在 AppWorld 中,重复非幂等写入构造的 15 个异常效果有 6 个被验证器误判为通过。在 WorkArena 中,23 个获 PASS 判定的额外字段候选用例经独立 Table API 回读确认有 21 个存在持久化错误值。

来源:arXiv 人工智能 · arxiv.org