AI 模型能被切分得多小？

一种去中心化边缘蜂群设计提出将大模型在子层级进行微切片，把 MoE 专家与注意力计算拆分为微碎片，打破了传统整层流水线并行的门槛。该方案将设备目标内存降至 500 MB 至 2 GB，利用稀疏激活与 MLA 压缩来降低网络通信载荷。这为利用笔记本与手机等边缘闲置设备协同进行大模型推理提供了新路径。