Hacker News · AI· vigmarcarlo·· 3 小时前精选AI 评分60
开源上下文剪枝中间件 OntoPrune：减少 85% 输入 Token 并提升 CPU 推理速度 6.7 倍
OntoPrune – Pruning 85% LLM context tokens and 6.7x TTFT on CPU
AI 导读
OntoPrune 是一款面向本地小语言模型（SLM）的神经符号上下文剪枝中间件，利用 RDF/SPARQL 本体表示将源代码转换为最小上下文契约。
推荐理由
原文展示了基于本体表示的上下文剪枝方法，读者可以据此评估其在端侧小模型与编码工作流中的加速与降本效果。
来源：Hacker News · AI · github.com