使用 AIPerf 大规模评测大语言模型推理性能

AIPerf 用于大规模评测大语言模型（LLM）的推理性能。在评估部署模型的推理速度时，常规的 curl 命令、手写 asyncio 脚本或临时负载生成器容易遭遇单进程性能瓶颈以及 Python 的 GIL 并发上限限制。AIPerf 旨在解决这些传统压测方式面临的并发瓶颈，支持高负载基准测试。