Cyqlelabs 开源 LLM 推理规划与运行时工具 Flux

Cyqlelabs 开源大语言模型推理规划与运行时工具 Flux，通过实测宿主机的 GPU、CPU 及存储性能，自动搜索模型层与 MoE 专家的最优放置方案，并提供兼容 OpenAI 的服务接口。该工具基于打补丁的 llama.cpp 构建，支持 148 种 GGUF 架构，允许在内存不足时从 NVMe 固态硬盘流式读取权重，并在真实提示词测试下保存速度最优的不可变执行方案。