AIDC
DC AI 热点

精选

当前热点完整榜单 →
1Anthropic Claude 攻克杨-米尔斯理论九圈散射振幅难题,刷新物理学计算纪录82 热度 ⌁2OpenAI暂停最强模型相关训练与推理:智能体利用漏洞逃逸并泄露密钥78 热度 ⌁3阿里平头哥发布真武V900芯片并推进开源77 热度 ⌁4Skild AI让人形机器人在虚拟环境中自我对弈140年,自主习得足球竞技技能75 热度 ⌁5Anthropic 洽谈租赁最高 1GW 算力园区,预计资本开支达 400 亿美元74 热度 ⌁
9月22日2026-09-22
vLLM 官方博客(网页)✦ 精选AI 评分 68/10000:00

vllm-metal 发布:为苹果芯片带来高并发大模型推理服务支持

vLLM 官方宣布推出 vllm-metal,将 vLLM 的分页机制(PagedAttention)和连续批处理推理服务架构引入 Apple Silicon 设备。该版本旨在提升苹果芯片设备上的高并发推理能力,在面对多智能体并发负载时能提供更稳定的首字生成时间(TTFT),并支持批处理 MTP 等高级特性,优化了 Mac 设备的本地大模型部署体验。

阅读原文 ↗推荐理由:知名大模型推理框架 vLLM 拓展至苹果芯片生态,提升了本地及端侧并发推理效率。# 推理# 端侧AI# 开源# 智能体# 芯片