跳到正文
原文
arXiv 人工智能· Erle Zhu, Genrui Zhang, Keyang Hu, Mingyu Su, Hongning Wang·· 1 天前AI 评分52

AOS-Bench 基准发布:评估大语言模型智能体管理动态工作负载能力

AOS-Bench: Can LLM Agents Manage Dynamic Workloads?

AI 导读

研究团队推出评测基准 AOS-Bench,用于测试编码智能体在共享 CPU 与内存限制下管理持续并发任务流的能力。在 5 组模型与框架的测试中,高负载下所有系统的成功率均下降 13 至 23 个百分点,串行调度导致重负载下 73% 的任务未被认领。测试还发现固定并发度为 2 的策略与最佳智能体自适应管理策略差距在 4 个百分点以内,且各策略下等待任务时的 CPU 中位数占用率均低于 30%。

来源:arXiv 人工智能 · arxiv.org