Hacker News · AI· urzil·· 22 日前厳選AI スコア61
开源联邦大语言模型推理引擎 MDMA 发布
MDMA: An open source federated LLM inference engine
未翻訳のため中国語で表示しています。
AI ガイド
开源联邦大语言模型推理引擎 MDMA（Model Dispatch and Memory Allocator）正式公开，旨在利用消费级闲置硬件构建私密去中心化推理网络。
推薦理由
该项目通过手写多后端算子与前置内存预算分配，为个人在异构闲置设备上搭建去中心化私密推理网络提供了工程参考。
出典：Hacker News · AI · github.com