Buzzing HN · 中文精选· firelex·· 2 天前精选AI 评分68
开源快速决策模型 Jeff 发布,基于 Qwen3.5 单次前向推理延迟约 30ms
Jeff——与Jev兼容的0.8B决策模型,在家训练,约30毫秒
AI 导读
开源决策模型 Jeff 正式发布,基于 Qwen3.5-0.8B/2B 与 Gemma 4 E2B 微调,支持单次前向推理直接输出校准概率,单次决策延迟低至 22 至 28 毫秒。
推荐理由
原文展示了仅需单次前向推理的轻量级决策模型实现路径,为端侧与高并发场景下的极速分类与路由提供了低成本方案。
来源:Buzzing HN · 中文精选 · github.com