研究团队推出决策模型推理引擎Flide

1. 13:00
   arXiv 自然语言处理

   Flide：通过精确状态分叉加速决策模型推理

   研究团队推出决策模型推理引擎 Flide，通过 ForkAttention 将决策请求的逻辑树结构与物理执行解耦以加速推理。该引擎支持标准注意力与循环 Gated DeltaNet 层，确保各查询分支计算与独立前向传播完全一致。在混合与决策模型评测中，Flide 响应查询的速度比 vLLM 和 SGLang 快高达 9.5 倍，且总变差距离最接近 float32 基准。

Current heat 9·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.