跳到正文
原文
Hacker News · AI· krajan124·· 2 小时前AI 评分41

如何决定 AI 工作负载的运行位置(本地/边缘/云端)

Decide where your AI workload should run (local/edge/cloud)

AI 导读

开源 AI 工作负载部署决策工具通过 5 个问题协助用户在本地、边缘与云端之间评估最佳运行位置。基准测试显示,AWS Bedrock 上的 Claude Haiku 4.5 延迟为 ~1.1–1.5s(成本约 $0.0001–0.00015/次),显著快于笔记本本地运行 Ollama llama3.2:1b 的 ~2.9–5.3s。测试表明本地与云端的核心权衡在于隐私和离线能力,而非延迟。

来源:Hacker News · AI · github.com