Hacker News · AI· leochong·· 5 小时前AI 评分32
Reflex：面向缩容至零 LLM 路由的原生 GGUF Rust/CUDA 引擎
Show HN: Reflex – A GGUF-native Rust/CUDA engine for scale-to-zero LLM routing
AI 导读
开发者在 Hacker News 展示了开源项目 Reflex，这是一款面向大语言模型（LLM）缩容至零（scale-to-zero）路由的原生 GGUF 引擎。该项目基于 Rust 与 CUDA 构建，旨在优化本地或按需调用场景下的模型加载与请求路由效率。
来源：Hacker News · AI · console.runpod.io