跳到正文
原文
Hacker News · AI· michaelrickynea·· 5 小时前AI 评分33

Leviathan LLM 推理

Leviathan LLM Inference

AI 导读

Leviathan 即将推出,这是一款无需服务器、云端、Docker 或 Python 环境的本地大语言模型推理应用,可将模型直接加载至 NVIDIA GPU 显存中运行。

来源:Hacker News · AI · github.com