arXiv 自然语言处理· Basavaraj R M, Aryan Bharat Kumar·· 17 小时前AI 评分37
TRIAGE：基于可靠性与负载条件的两层大语言模型服务升级机制
TRIAGE: Reliability- and Load-Conditioned Escalation for Two-Tier LLM Serving with a Semantic Evidence Judge
AI 导读
TRIAGE 结合生成后可靠性与负载成本，控制两层大语言模型从小模型向大模型升级。在单张 A40 部署 Qwen2.5-7B 与 32B (AWQ) 时，请求从 1 增至 10 requests/s 导致升级成本上升 21.9x。语义证据裁判使 GPT-3.5 到 GPT-4 级联降低 79.5% API 成本且接近 GPT-4 表现，但在价格比 2-3x 的开源模型对上低于随机路由。
来源：arXiv 自然语言处理 · arxiv.org