跳到正文
原文
AITNT · AI头条(网页)·· 6 小时前AI 评分71

清华大学与无问芯穹等开源具身端侧推理引擎 APXInf

提速10.7倍!这个端侧推理引擎一开源,机器人本体跑大模型终于不卡了

AI 导读

清华大学联合无问芯穹与上海交通大学开源了面向具身智能模型的端侧推理引擎 APXInf,在 Jetson Thor 芯片 FP8 配置下将 π0.5 模型的推理延迟从 278ms 降至 26ms,提速约 10.7 倍。

来源:AITNT · AI头条(网页) · aitntnews.com