NVIDIA Developer Blog· Elizabeth Goodman·· 14 天前AI 评分40
TensorRT Edge-LLM 在 Jetson AGX Thor 上运行 MLPerf 边缘智能体基准测试提速 6.4 倍
TensorRT Edge-LLM Completes the MLPerf Edge Agentic Benchmark 6.4x Faster on Jetson AGX Thor
AI 导读
TensorRT Edge-LLM 在 NVIDIA Jetson AGX Thor 上将 MLPerf Edge 智能体基准测试的完成速度提升了 6.4 倍。随着 AI 智能体从云端数据中心走向汽车、机器人等边缘设备，其需要执行工具选择与长对话推理等多步工作流，对边缘推理的速度和 token 生成能力提出了更高要求。
来源：NVIDIA Developer Blog · developer.nvidia.com