AITNT · AI头条(网页)·· 7 小时前AI 评分72
大模型推理提速转向系统协同与算子融合,浪潮与Inferact探索AI自主编写算子
AI自己榨干算力!让Kimi K3自己写「超级算子」,推理快了3倍
AI 导读
Inferact与浪潮信息分别通过TPU巨型算子与超节点超级算子技术大幅提升Kimi K3的推理速度,推动底层算子开发向AI自主优化演进。浪潮信息在元脑SD200 Ultra超节点上利用Kimi K3构建超级算子智能体实现闭环迭代,将综合推理效能提升3倍以上并将Token生成时延压至5.85毫秒。
来源:AITNT · AI头条(网页) · aitntnews.com