GAUSS：面向 LLM 推理服务的负载感知分析与蒙特卡洛模拟器

研究人员提出 LLM 推理模拟器 GAUSS，可预测特定工作负载、引擎与加速器下的 TTFT、TBT 完整分布及可持续请求速率。它结合预填充与解码阶段的校准延迟曲面与排队模型，利用集成蒙特卡洛采样捕捉尾部延迟。GAUSS 能推理未部署的工作负载、硬件与路由策略，支持工作点选择与流量分段等容量决策。