arXiv 人工智能· Anshu Raina, Yao Fu, Zhang Jiejing, Peyman Razaghi, Shiksha Patel, Ravi Gupta, Deval Shah, Adeem Jassani, Subhajit Dutta Chowdhury, Lorri Rao, Kailash Gogineni, Zhenyu Gu, Onil Gunawardana, Emad Barsoum·· 5 小时前AI 评分45
ROCm InferaSim：削减 LLM 服务试错成本并部署最佳配置
ROCm InferaSim: Cut LLM Serving Trial Costs and Deploy the Best Configuration
AI 导读
ROCm InferaSim 通过少量基准测试结合解析模型预测 LLM 推理性能，大幅削减部署配置的试错成本。在 AMD Instinct MI355X GPU 搭配 vLLM 与 SGLang 等测试中，其仅用 9.1 GPU-hours 便覆盖了原本需 204 GPU-hours 测量的 226 个配置。
来源：arXiv 人工智能 · arxiv.org