本文へスキップ
原文
Hacker News · AI· bretpiatt·· 3 日前厳選AI スコア73

tiny-llm:面向 Apple Silicon 的大语言模型推理系统实操课程

Learn LLM inference system on Apple Silicon

未翻訳のため中国語で表示しています。

AI ガイド

开源实操课程 tiny-llm 正式推出,旨在帮助系统工程师在 Apple Silicon 设备上端到端构建大语言模型推理系统。该项目基于 MLX 底层数组与 Metal 算子从零加载 Qwen3 模型,不依赖高层神经网络封装库。课程设置分为 4 周,覆盖基础算子与自回归生成、单请求 W4 量化与 SIMD 优化、类 vLLM 连续批处理与分页 KV 缓存,以及完整的代码智能体闭环构建。

推薦理由

项目脱离高层框架直接基于底层算子手写推理流水线,为系统工程师在苹果设备上拆解大模型服务架构提供了极佳切入点。

出典:Hacker News · AI · github.com