Cerebras为企业提供万亿参数推理支持,Kimi K2.6实测达981 token/秒
Cerebras宣布在其企业级测试中支持Kimi K2.6超大模型的极速推理,实测输出速度达到每秒981个Token。该方案旨在通过其专有算力芯片解决大模型推理的吞吐与延迟瓶颈,支持实时智能体编程及其他万亿参数级别的复杂AI工作负载,加速超大规模模型在企业级生产环境的高性能落地。
Cerebras宣布在其企业级测试中支持Kimi K2.6超大模型的极速推理,实测输出速度达到每秒981个Token。该方案旨在通过其专有算力芯片解决大模型推理的吞吐与延迟瓶颈,支持实时智能体编程及其他万亿参数级别的复杂AI工作负载,加速超大规模模型在企业级生产环境的高性能落地。