跳到正文
原文
Hacker News · AI· solohunter001·· 3 小时前精选AI 评分71

开源决策编译器 Strot 发布:一次编译大语言模型意图并实现本地离线运行

Show HN: Strot – Compile an LLM's intent once, run decisions locally

AI 导读

开源决策编译器 Strot 正式发布,支持在编译期仅调用一次大语言模型解析业务意图,生成独立且冻结的 Python 本地制品。运行时无需调用大语言模型,默认依托 144M 的 Julia-1 模型在 CPU 上以约 60ms 延迟输出带置信度的类型安全 JSON 决策。测试显示其在 398 条记录的路由准确率达 92.5%,低置信度记录自动弃权以规避模型幻觉。

推荐理由

该项目将大语言模型推理移至编译期,运行时转由轻量本地模型执行确定性路由,为降低生产环境推理成本与幻觉提供了工程参考。

来源:Hacker News · AI · github.com