跳到正文
原文
arXiv 机器学习· Pranay Kothari·· 3 小时前AI 评分53

ArrivalBench 基准测试:Agent 生成的数据管道在动态时间扰动下频现隐式错误

ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time

AI 导读

研究团队提出 ArrivalBench 基准测试,通过延迟、重复、乱序与重试等对抗性可重放调度,评估 AI 智能体生成数据管道的健壮性。在 40 项任务和 11 个模型测试中,传统单次快照测试通过率达 86% 至 100%,但重放扰动导致其中 7.0% 至 79.2% 已认证管道输出静默错误数据。

来源:arXiv 机器学习 · arxiv.org