Cloudflare Blog · 网络基础设施· Ming Lu·· 9 小时前精选AI 评分73
Cloudflare AI Gateway 推出 Auto Router 智能路由公测
Cut your AI spend with AI Gateway's Auto Router
AI 导读
Cloudflare 宣布在 AI Gateway 中推出 Auto Router（cloudflare/auto）公测版，可根据任务特征自动将请求路由到能力匹配且成本最优的模型。该系统利用边缘分类器评估请求类别与复杂度，并综合模型单价与上下文缓存切换惩罚进行动态评分。内部基准测试显示其成本相比顶尖前沿模型最高可降低 30%，公测期间免费向开发者开放。
推荐理由
该方案将多维度分类与缓存成本惩罚机制引入请求级路由，有助于企业在不牺牲复杂任务效果的前提下降低日常推理开销。
来源：Cloudflare Blog · 网络基础设施 · blog.cloudflare.com