跳到正文
原文
Hacker News · AI· doomroot13·· 5 小时前精选AI 评分71

微软推出 MAI-Code-1.1-Flash:137.9B 代码模型落地 Windows PC 端侧推理

Advancing the Quality-Efficiency Frontier for Coding AI on Windows PCs

AI 导读

微软发布 137.9B MoE 代码模型 MAI-Code-1.1-Flash,通过混合精度量化将权重压缩至 53.0 GiB,并作为 GitHub Copilot 的本地端侧模型。

推荐理由

文章展示了混合精度量化、投机解码与长上下文缓存管理的协同设计,为大参数量 MoE 模型的端侧部署提供了工程参考。

来源:Hacker News · AI · devblogs.microsoft.com