Hacker News · AI· vigmarcarlo·· 29 days agoSelectedAI score60
开源上下文剪枝中间件 OntoPrune：减少 85% 输入 Token 并提升 CPU 推理速度 6.7 倍
OntoPrune – Pruning 85% LLM context tokens and 6.7x TTFT on CPU
Not yet translated; shown in Chinese.
AI guide
OntoPrune 是一款面向本地小语言模型（SLM）的神经符号上下文剪枝中间件，利用 RDF/SPARQL 本体表示将源代码转换为最小上下文契约。
Why it matters
原文展示了基于本体表示的上下文剪枝方法，读者可以据此评估其在端侧小模型与编码工作流中的加速与降本效果。
Source:Hacker News · AI · github.com