arXiv 人工智能· Sumit P. Ahuja·· 8 hours agoAI score35
置信度门控分层 LLM 推理的可行性条件
A Feasibility Condition for Confidence-Gated Tiered LLM Inference
Not yet translated; shown in Chinese.
AI guide
一项研究给出了置信度门控分层 LLM 推理的闭式可行性条件，用于判定分层级联在何种情况下无法优于直接请求兜底模型。通过架构成本比 $\kappa$ 将路由建模为二元测试，该条件界定了无信号下限与完美信号上限，并揭示了本地计算计费与沉没成本场景下的可行性反转规律。研究进一步提炼出 3 项系统设计要求。
Source:arXiv 人工智能 · arxiv.org