Google Developers · AI 筛选·· 7 小时前AI 评分57
Google Cloud 推出基于 Cloud TPU 与 vLLM 的长上下文多模态嵌入推理优化方案
Enterprise-Grade Precision for Long-Context Multimodal Embedding Inference on Cloud TPU
AI 导读
Google Cloud 针对千问 Qwen3 嵌入模型在 Cloud TPU 上的 vLLM 推理进行了深度优化，实现高精度长上下文多模态嵌入生成。团队通过硬件级词表填充对齐张量、优化延迟加载与编译预热，并构建混合 StepPool 架构支持 Chunked Prefill，确保在 16K 序列长度下输出与基准保持严格的数值对齐。
来源：Google Developers · AI 筛选 · developers.googleblog.com