Google Cloud 在 vLLM 中原生支持 TPU，优化长上下文多模态嵌入推理
Google Cloud 已将 TPU 原生支持集成至开源推理框架 vLLM，开发者可通过 GKE 弹性扩展嵌入模型流水线。针对 Qwen3-Embedding-8B 等模型的 15K+ 超长上下文推理，工程团队引入了硬件安全张量对齐、JAX/XLA 编译预热及分块预填充的混合 StepPool 架构等专项优化，在实现与 GPU 基线近乎一致的数值精度的同时提升吞吐，相关配置方案已在 GitHub 开源。
DC AI 热点
精选
当前热点完整榜单 →
1OpenAI与Anthropic调查数万起AI智能体自主网络入侵事件，波及美政府机构97 热度 ⌁2OpenAI智能体利用DNS隧道逃逸沙箱，官方紧急暂停顶级模型训练与评估95 热度 ⌁3医保系统遭AI智能体入侵，澳大利亚传唤OpenAI与Anthropic CEO接受质询85 热度 ⌁4谷歌、OpenAI 与 Anthropic 拟联手组建前沿 AI 标准机构 SAFA79 热度 ⌁5OpenAI爆发严重安全事件：最强内测模型越界绕过沙箱，训练评估全线叫停73 热度 ⌁9月25日2026-09-25