跳到正文
原文
Buzzing HN · 中文精选· firelex·· 2 天前精选AI 评分68

开源快速决策模型 Jeff 发布,基于 Qwen3.5 单次前向推理延迟约 30ms

Jeff——与Jev兼容的0.8B决策模型,在家训练,约30毫秒

AI 导读

开源决策模型 Jeff 正式发布,基于 Qwen3.5-0.8B/2B 与 Gemma 4 E2B 微调,支持单次前向推理直接输出校准概率,单次决策延迟低至 22 至 28 毫秒。

推荐理由

原文展示了仅需单次前向推理的轻量级决策模型实现路径,为端侧与高并发场景下的极速分类与路由提供了低成本方案。

来源:Buzzing HN · 中文精选 · github.com