Hacker News · AI· bretpiatt·· 3 days agoSelectedAI score73
tiny-llm:面向 Apple Silicon 的大语言模型推理系统实操课程
Learn LLM inference system on Apple Silicon
Not yet translated; shown in Chinese.
AI guide
开源实操课程 tiny-llm 正式推出,旨在帮助系统工程师在 Apple Silicon 设备上端到端构建大语言模型推理系统。该项目基于 MLX 底层数组与 Metal 算子从零加载 Qwen3 模型,不依赖高层神经网络封装库。课程设置分为 4 周,覆盖基础算子与自回归生成、单请求 W4 量化与 SIMD 优化、类 vLLM 连续批处理与分页 KV 缓存,以及完整的代码智能体闭环构建。
Why it matters
项目脱离高层框架直接基于底层算子手写推理流水线,为系统工程师在苹果设备上拆解大模型服务架构提供了极佳切入点。
Source:Hacker News · AI · github.com