跳到正文
原文
Hacker News · AI· gmays·· 4 小时前精选AI 评分62

Vals 提出大模型路由器长时程评测体系:路由机制可兼顾智能体性能与成本

Routers Are a New AI Primitive

AI 导读

Vals 宣布建立针对大模型路由器的独立端到端评测体系,指出前沿模型在不同专业领域能力分布不均,理想路由器能在 Vals Index 上比最优单一模型高出 14 分并降低约 40% 成本。该评测涵盖金融、代码、法律和税务等 8 项长时程专家级真实任务,在多步 Agent 动态执行中同时衡量决策质量、调用开销与 Prompt 缓存失效代价,近期将上线公开排行榜。

推荐理由

文章基于多领域基准指出单一前沿模型难以兼顾所有场景,系统阐述了在长时程智能体任务中评估模型路由器质量与调用成本的方法。

来源:Hacker News · AI · vals.ai