arXiv 自然语言处理· Bobo Li, Jiajia Song, Hao Fei, Wynne Hsu, Mong Li Lee·· 9 小时前AI 评分43
Flide：通过精确状态分叉加速决策模型推理
Flide: Accelerating Decision Inference with Exact State Forking
AI 导读
研究团队推出决策模型推理引擎 Flide，通过 ForkAttention 将决策请求的逻辑树结构与物理执行解耦以加速推理。该引擎支持标准注意力与循环 Gated DeltaNet 层，确保各查询分支计算与独立前向传播完全一致。在混合与决策模型评测中，Flide 响应查询的速度比 vLLM 和 SGLang 快高达 9.5 倍，且总变差距离最接近 float32 基准。
来源：arXiv 自然语言处理 · arxiv.org