Hacker News · AI· bretpiatt·· 3 日前厳選AI スコア73
tiny-llm:面向 Apple Silicon 的大语言模型推理系统实操课程
Learn LLM inference system on Apple Silicon
未翻訳のため中国語で表示しています。
AI ガイド
开源实操课程 tiny-llm 正式推出,旨在帮助系统工程师在 Apple Silicon 设备上端到端构建大语言模型推理系统。该项目基于 MLX 底层数组与 Metal 算子从零加载 Qwen3 模型,不依赖高层神经网络封装库。课程设置分为 4 周,覆盖基础算子与自回归生成、单请求 W4 量化与 SIMD 优化、类 vLLM 连续批处理与分页 KV 缓存,以及完整的代码智能体闭环构建。
推薦理由
项目脱离高层框架直接基于底层算子手写推理流水线,为系统工程师在苹果设备上拆解大模型服务架构提供了极佳切入点。
出典:Hacker News · AI · github.com