本文へスキップ

デプロイ技術

把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。

605件の厳選関連トピック开源生态数据与训练端侧 AI

最新の厳選

461〜480 件目 · 全 605 件
9月30日水
  1. vLLM 官方博客（网页）76

    vLLM 揭秘生产级质量保障体系：CI、基准评测与双周发布流程中国語

    vLLM 官方团队发文拆解了其保障生产级质量的三层工程体系，涵盖 CI 自动化、端到端夜间基准评测以及双周发版流程。第一层 CI 依托 Buildkite 管理 58 个异构加速卡队列，通过统一容器镜像与依赖锁定消除环境漂移，并借助 AI 智能体实现故障自动诊断与回滚。

    推薦理由：vLLM 团队拆解了异构算力下的 CI 调度、夜间性能精度评测及双周发版机制，为开源 AI 项目的工程化交付提供了可复用的实践参考。

  2. vLLM 官方博客（网页）67

    vLLM Semantic Router 升级架构：从智能路由演进为 Mixture-of-Models 系统引擎中国語

    vLLM Semantic Router 宣布从单一请求路由演进为构建、评测和运行 Mixture-of-Models（MoM）的系统引擎，对外提供统一的模型交互接口。

    推薦理由：文章阐明了将分散的独立大模型封装为统一 MoM 系统的架构设计，读者可以了解跨硬件和多模型协同调度的工程实现路径。

  3. vLLM 官方博客（网页）73

    vLLM 预览 Kimi K3 生产级推理支持：重构 KDA 前缀缓存并优化 MXFP4 MoE中国語

    vLLM 宣布将为月之暗面（Moonshot AI）预计 7 月 27 日开源的 2.8T 参数模型 Kimi K3 提供 Day-0 生产级推理支持。针对 KDA 循环注意力机制，vLLM 将物理状态块大小与前缀匹配粒度解耦，实现了细粒度前缀缓存命中与写时复制。

    推薦理由：文章详细拆解了针对 KDA 循环注意力与 MXFP4 MoE 的前缀缓存重构及算子优化，读者可据此了解超大混合架构在开源引擎中的工程落地细节。

  4. vLLM 官方博客（网页）70

    vLLM 推出 AFD 插件：解耦 Attention 与 FFN 实现 MoE 灵活推理中国語

    vLLM 发布实验性插件 vLLM AFD Plugin，通过将 MoE 模型的 Attention 与 FFN 拆分为独立部署的服务，实现两者的独立扩缩容。插件支持 NVIDIA GPU 与华为昇腾 NPU 后端，兼容 DeepSeek V2/V3 及 GLM MoE 等架构，无需修改 vLLM 源码即可通过标准插件接口接入。

    推薦理由：原文解析了通过解耦 Attention 与 FFN 服务实现 MoE 独立扩缩容的架构设计与实测数据，为大模型推理部署优化提供了参考。

  5. vLLM 官方博客（网页）73

    vLLM 在 24 张 NVIDIA B300 上部署优化 GLM-5.2：TPOT 从 40ms 降至 17ms中国語

    DaoCloud 团队在 vLLM 官方博客分享了在 24 块 NVIDIA B300 GPU 上部署 GLM-5.2-NVFP4 的生产级优化实践，采用 4P1D 的 P/D 分离拓扑将平均 TPOT 从 40ms 降至 17ms，达成 TTFT ≤ 2.5s 与 TPOT ≤ 20ms 的 SLA 目标。

    推薦理由：文章详细拆解了超大 MoE 模型在长上下文与投机解码下的端到端调优路径，给出了完整的部署配置与长周期排障经验。

  6. vLLM 官方博客（网页）81

    vLLM 宣布首日支持月之暗面 Kimi K3中国語

    vLLM 宣布首日支持月之暗面 2.8T 参数模型 Kimi K3，提供混合 KDA 前缀缓存与 DSpark 投机解码等生产级部署方案。在 16 卡 NVIDIA GB300 NVL72 上配合 DSpark 投机解码单用户吞吐可达 370 tok/s，解码速度提升 3.14 倍。

    推薦理由：文章详细拆解了针对超大混合架构模型的缓存改造与投机解码方案，为同类长上下文 MoE 的高效部署提供了完整参考。

  7. vLLM 官方博客（网页）65

    vLLM 与 Speculators 支持 P-EAGLE、DFlash 和 DSpark 并行推测解码算法中国語

    Speculators 与 vLLM 宣布全面开源支持 P-EAGLE、DFlash 和 DSpark 三种并行推测解码算法，摆脱了 EAGLE-3 等传统框架自回归逐词生成候选 token 的延迟瓶颈。

    推薦理由：原文解析了三种并行推测解码架构与训练优化机制，为大模型在线服务降低草稿延迟与参数调优负担提供了工程参考。

  8. Cloudflare Blog · 网络基础设施63

    Cloudflare 发布 Vinext 1.0，基于 Vite 实现 Next.js 应用跨平台部署中国語

    Cloudflare 正式发布开源框架 Vinext 1.0，支持将基于 App Router 或 Pages Router 的 Next.js 项目迁移至 Vite 底座并部署到 Cloudflare Workers、Netlify 及 AWS Lambda 等平台。

    推薦理由：该框架打破了 Next.js 与特定托管平台的强绑定，为开发者评估将大型全栈应用迁移至边缘运行时提供了具体的兼容性路径与工具链。

  9. Hacker News · AI65

    Modal 推出 AI-SQL 推理引擎 Quail，多表关联查询吞吐达 vLLM 的 10 倍以上中国語

    Modal 与卡内基梅隆大学联合推出专为 AI-SQL 负载设计的推理层 Quail（QUery-Aware Inference Layer），通过联合优化查询规划器与推理引擎提升分析型数据库中的大模型吞吐。

    推薦理由：原文针对分析型数据库中的大模型推理负载，通过联合查询规划与缓存管理协同优化，为高吞吐纯 Prefill 场景提供了可借鉴的架构方案。

  10. Google Developers · AI 筛选68

    借助 LiteRT 与 Gemma 在树莓派上构建端侧 AI 应用中国語

    Google 介绍了如何通过 LiteRT 推理运行时与 Gemma 系列轻量模型，在树莓派 5（Raspberry Pi 5）上实现完全离线、低延迟的端侧 AI 与机器人系统。

    推薦理由：原文展示了基于 LiteRT 在树莓派 5 上异构协同 CPU 与 GPU 运行 Gemma 的架构与性能数据，为低功耗端侧离线智能体提供了落地参考。

  11. Google Developers · AI 筛选66

    Google Cloud 携手 HeyGen 将 Avatar IV 迁移至 Trillium TPU 并提速 1.86 倍中国語

    HeyGen 联合 Google Cloud 将 18B 参数的数字人视频模型 Avatar IV 迁移至 8 芯片 Trillium（v6e）TPU 主机，端到端推理速度相比初始版本提升 1.86 倍。

    推薦理由：文章详细拆解了将大模型从 GPU 迁移至 TPU 的通信流水线与算子重构细节，为大吞吐流式生成提供了实测参考。

  12. Google Developers · AI 筛选73

    Google 总结 AI 智能体挑战赛优秀作品的 4 个核心工程模式中国語

    Google for Startups 在 AI 智能体挑战赛收官后，总结了表现优异的多智能体方案所采用的 4 项关键工程架构模式。核心模式包括通过双向 MCP 将自身推理能力暴露为供其他智能体调用的服务、采用异步事件总线避免串行调用链累积延迟、对主备降级模型强制执行统一逻辑校验，以及利用低成本判定与正则分流降低推理开销。

    推薦理由：归纳了多智能体工程中双向 MCP 与事件驱动等架构细节，为开发者优化延迟与推理成本提供了可直接复用的方案。

  13. AWS 机器学习80

    AWS 宣布在 Amazon Bedrock 与 Claude Platform 上线 Claude Sonnet 5.5中国語

    AWS 正式在 Amazon Bedrock 和 Claude Platform on AWS 上提供 Claude Sonnet 5.5。该模型针对聚焦型编程和知识工作优化，具备更快的执行速度与更低的任务单价，支持与 IAM、CloudTrail、CloudWatch 及 Bedrock Guardrails 等 AWS 原生治理工具集成。

    推薦理由：文章明确了该模型在企业工程中的分工定位与调用方式，便于开发者评估架构组合与成本配比。

  14. Cerebras 官方博客（网页）70

    Cerebras 联合 OpenAI 推出 Ultrafast Mode：驱动 GPT-5.6 Sol 达到每秒 750 Token中国語

    Cerebras 与 OpenAI 联合推出由 Cerebras 晶圆级架构驱动的 Ultrafast Mode，GPT-5.6 Sol 在该模式下输出速度最高可达 750 output tokens per second。

    推薦理由：原文给出了 Cerebras 驱动大模型超高速推理的实测吞吐与基准耗时，读者可以据此判断高吞吐推理对实时智能体交互的改进幅度。

  15. Cerebras 官方博客（网页）66

    Cerebras 详解 CS-4 机架架构并公布 CS-5 与 CS-6 路线图中国語

    Cerebras 在 HOT CHIPS 2026 上详细解析了基于 Nexus 机架平台的 CS-4 系统架构，并公布了 CS-5 与 CS-6 的技术演进路线。

    推薦理由：Cerebras 披露了 CS-4 机架级供电与散热架构细节，并展示了通过 3D 堆叠 DRAM 突破晶圆级内存瓶颈的技术演进路径。

  16. Cerebras 官方博客（网页）77

    Cerebras 如何实现 GPT-5.6 Sol 高达每秒 750 tokens 的高速推理中国語

    Cerebras 通过其 WSE-3 晶圆级芯片支持 OpenAI GPT-5.6 Sol 的 Ultrafast 模式，在不降低精度、不蒸馏且不改变权重的条件下实现了高达 750 output tokens/s 的推理速度。

    推薦理由：文章详细拆解了晶圆级芯片利用片上超大带宽 SRAM 消除显存墙以实现高速大模型推理的硬件架构与工程实现。

  18. Cerebras 官方博客（网页）68

    Cerebras 发布第四代 AI 系统 CS-4：推理速度最高达 GPU 的 30 倍并支持解耦架构中国語

    Cerebras 正式发布第四代 AI 加速系统 CS-4，搭载三颗 Wafer Scale Engine 3 Turbo 处理器并采用全新 Nexus 机柜架构，官方称其推理速度最高可达 GPU 系统的 30 倍。

    推薦理由：CS-4 将晶圆级算力与解耦推理结合，为十万亿参数超大模型的交互式生成提供了不同于传统集群的低延迟硬件方案。

  19. vLLM 官方博客（网页）69

    vLLM 优化 Qwen3.5 解耦推理：单 GPU 吞吐达 25K TPS中国語

    vLLM 团队公布了基于 GB200 NVL72 系统的 Qwen3.5-397B-A17B-NVFP4 解耦推理优化方案，实现单 GPU 总吞吐超过 25,000 TPS。

    推薦理由：原文展示了混合注意力架构模型在解耦推理下的状态传输与算子优化方案，读者可参考其配置配方提升大模型吞吐。

  20. vLLM 官方博客（网页）77

    vLLM 详解解码上下文并行 DCP：长上下文智能体推理吞吐提升 3 倍中国語

    vLLM 官方详解了解码上下文并行（DCP）机制，通过沿序列维度将 KV Cache 分片到多张 GPU，在长上下文智能体负载下实现相比标准张量并行 3 倍的吞吐提升。

    推薦理由：针对长上下文推理中多头及潜变量注意力导致的显存冗余，原文给出了按序列分片提升并发与吞吐的实现方案。