arXiv 机器学习· Pranay Kothari·· 3 小时前AI 评分53
ArrivalBench 基准测试:Agent 生成的数据管道在动态时间扰动下频现隐式错误
ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time
AI 导读
研究团队提出 ArrivalBench 基准测试,通过延迟、重复、乱序与重试等对抗性可重放调度,评估 AI 智能体生成数据管道的健壮性。在 40 项任务和 11 个模型测试中,传统单次快照测试通过率达 86% 至 100%,但重放扰动导致其中 7.0% 至 79.2% 已认证管道输出静默错误数据。
来源:arXiv 机器学习 · arxiv.org