Hacker News · AI· urzil·· 2 小时前精选AI 评分61
开源联邦大语言模型推理引擎 MDMA 发布
MDMA: An open source federated LLM inference engine
AI 导读
开源联邦大语言模型推理引擎 MDMA（Model Dispatch and Memory Allocator）正式公开，旨在利用消费级闲置硬件构建私密去中心化推理网络。
推荐理由
该项目通过手写多后端算子与前置内存预算分配，为个人在异构闲置设备上搭建去中心化私密推理网络提供了工程参考。
来源：Hacker News · AI · github.com