跳到正文
原文
Buzzing HN · 中文精选· anerli·· 2 小时前精选AI 评分70

开源推理引擎 Magnitude 发布:支持设备端内核调优与智能体一键连接

Launch HN: Magnitude (YC S25) – 面向智能体的自优化推理引擎

AI 导读

YC S25 孵化项目 Magnitude 正式开源,这是一款面向 AI 智能体的自优化本地推理引擎,提供桌面端应用与内置 CLI。它在运行前针对用户实际硬件现场编译并调优算子内核,在 Metal 上解码速度较 llama.cpp 提升 92%,CUDA 提升 19%,并降低 27% 单智能体显存占用。

推荐理由

原文给出了在本地设备动态编译调优内核的技术路径和实测数据,读者可以据此评估本地智能体推理的加速方案。

来源:Buzzing HN · 中文精选 · github.com