arXiv 人工智能· Yash Dave, Sang T. Truong, Serena Wang, Sanmi Koyejo·· 8 小时前AI 评分42
AI 评测生态系统
The AI Evaluation Ecosystem
AI 导读
研究团队提出一种结合市场动态与 LLM 策略智能体的仿真架构,基于生成式智能体建模(GABM)在涵盖推理、编程、知识、安全、沟通与智能体(agentic)的六维能力空间中模拟 AI 评测生态系统。案例研究发现,从公开基准转向私有留出集(holdout)基准可缩小多数基准分数与用户满意度的差距,但也会在少数基准上因权重转移而扩大差距。
来源:arXiv 人工智能 · arxiv.org