Hacker News · AI· bretpiatt·· 2 小时前精选AI 评分73
tiny-llm：在 Apple Silicon 上从零构建大语言模型推理系统的实操课程
Learn LLM inference system on Apple Silicon
AI 导读
tiny-llm 是一套面向系统工程师的大语言模型端到端推理实操课程，基于 Apple Silicon 与 MLX 运行时带领学习者从零实现 Qwen3 模型的推理和服务架构。
推荐理由
原文完整梳理了从基础矩阵算子、KV cache 优化、连续批处理到智能体的四周实操路径，读者可借此系统掌握端侧大语言模型推理系统的底层实现机制。
来源：Hacker News · AI · github.com