arXiv 人工智能· Benedict Cummins-Mburu, Mariana Garcia Mejia, Oscar Heath, Sabrina Kreyzerman, Ellie Murray, Arusan Surendiran, Rohan Alexander·· 6 小时前AI 评分38
GardenBench:用于 LLM 能力的轻量级每日评测基准
GardenBench: A lightweight, daily evaluation of LLM capabilities
AI 导读
研究人员推出面向日常通用任务的轻量级评测基准 GardenBench,包含 11 个测试套件,用于每日评估大语言模型的能力。该基准通过轻量级提示词系统记录模型在准确率、运行成本和耗时上的每日变化,可捕捉部署后更新或新模型发布带来的性能提升与退化。评测结果通过公开的实时看板展示,支持跨供应商和版本对比。
来源:arXiv 人工智能 · arxiv.org