Hacker News · AI· antimora·· 3 小时前精选AI 评分73
微软 Windows ML 增加实验性 llama.cpp 与 GGUF 支持并推出原生 Runtime API
AI Development on Windows: From PyTorch and Llama.cpp to Windows ML
AI 导读
微软宣布 Windows ML 新增实验性 llama.cpp 支持，开发者可通过全新任务特定 API 在本地直接运行 GGUF 和 ONNX 格式模型，并提供 OpenAI 兼容的本地服务接口。
推荐理由
原文给出了 Windows ML 运行 GGUF 与 ONNX 模型的调用方式及 Arm 编译链，读者可据此将开源大模型集成进本地 Windows 应用。
来源：Hacker News · AI · devblogs.microsoft.com