谷歌TPU运行Kimi模型性能超英伟达GPU 57%,采用DeepSeek推理优化架构
据vLLM核心成员创办的团队最新测试,谷歌TPU在运行Kimi模型时的推理性能相较英伟达GPU提升达57%。该评测结合了DeepSeek开源的高效推理技术框架,展示了非英伟达硬件生态在适配并加速顶尖大模型推理上的实质进展。原文摘要信息有限,具体TPU版本及测试对比基线等硬件参数细节未详述。
据vLLM核心成员创办的团队最新测试,谷歌TPU在运行Kimi模型时的推理性能相较英伟达GPU提升达57%。该评测结合了DeepSeek开源的高效推理技术框架,展示了非英伟达硬件生态在适配并加速顶尖大模型推理上的实质进展。原文摘要信息有限,具体TPU版本及测试对比基线等硬件参数细节未详述。
在云栖大会上,阿里巴巴集团CEO吴泳铭介绍了平头哥新一代AI芯片“真武V900”。据介绍,该芯片算力性能达上一代M890的3倍,被称为目前中国算力性能领先的AI芯片。同时,平头哥进一步推进了相关技术的开源举措,以构建更完善的国产AI软硬件生态。