Skip to content
Hot storiesContinuously updated

研究者提出双层大模型路由机制TRIAGE

1 reports1 reporting sourcesUpdated 17 hours ago

Start here

AI overview

2026年11月4日，arXiv发布的研究提出名为TRIAGE的两层大语言模型服务升级机制。该机制结合生成后可靠性与负载成本，控制模型从小模型向大模型升级。实验数据显示，在单张A40显卡部署Qwen2.5-7B与32B (AWQ) 时，请求速率从1 requests/s增至10 requests/s会导致升级成本上升21.9倍。此外，语义证据裁判能使GPT-3.5到GPT-4级联在表现接近GPT-4的同时降低79.5%的API成本，但在价格比为2至3倍的开源模型对上效果低于随机路由。

AI-generated from reports · Updated 16 hours ago

Latest developmentsNov 4 13:00
研究者提出TRIAGE机制，结合可靠性与负载成本控制LLM升级，使GPT级联成本降低79.5%。

Report timeline

Follow the reports to see different sides of the story.

Nov 4
  1. arXiv 自然语言处理
    TRIAGE：基于可靠性与负载条件的两层大语言模型服务升级机制

    TRIAGE 结合生成后可靠性与负载成本，控制两层大语言模型从小模型向大模型升级。在单张 A40 部署 Qwen2.5-7B 与 32B (AWQ) 时，请求从 1 增至 10 requests/s 导致升级成本上升 21.9x。语义证据裁判使 GPT-3.5 到 GPT-4 级联降低 79.5% API 成本且接近 GPT-4 表现，但在价格比 2-3x 的开源模型对上低于随机路由。

Story heat trend

Current heat 6·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–

02.557.510Nov4Nov4Nov5Nov5

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.