跳到正文
原文
arXiv 人工智能· Sumit P. Ahuja·· 7 小时前AI 评分35

置信度门控分层 LLM 推理的可行性条件

A Feasibility Condition for Confidence-Gated Tiered LLM Inference

AI 导读

一项研究给出了置信度门控分层 LLM 推理的闭式可行性条件,用于判定分层级联在何种情况下无法优于直接请求兜底模型。通过架构成本比 $\kappa$ 将路由建模为二元测试,该条件界定了无信号下限与完美信号上限,并揭示了本地计算计费与沉没成本场景下的可行性反转规律。研究进一步提炼出 3 项系统设计要求。

来源:arXiv 人工智能 · arxiv.org