本文へスキップ
9月30日水
  1. vLLM 官方博客(网页)73

    vLLM 预览 Kimi K3 生产级推理支持:重构 KDA 前缀缓存并优化 MXFP4 MoE中国語

    vLLM 宣布将为月之暗面(Moonshot AI)预计 7 月 27 日开源的 2.8T 参数模型 Kimi K3 提供 Day-0 生产级推理支持。针对 KDA 循环注意力机制,vLLM 将物理状态块大小与前缀匹配粒度解耦,实现了细粒度前缀缓存命中与写时复制。

    推薦理由:文章详细拆解了针对 KDA 循环注意力与 MXFP4 MoE 的前缀缓存重构及算子优化,读者可据此了解超大混合架构在开源引擎中的工程落地细节。

  2. vLLM 官方博客(网页)70

    vLLM 推出 AFD 插件:解耦 Attention 与 FFN 实现 MoE 灵活推理中国語

    vLLM 发布实验性插件 vLLM AFD Plugin,通过将 MoE 模型的 Attention 与 FFN 拆分为独立部署的服务,实现两者的独立扩缩容。插件支持 NVIDIA GPU 与华为昇腾 NPU 后端,兼容 DeepSeek V2/V3 及 GLM MoE 等架构,无需修改 vLLM 源码即可通过标准插件接口接入。

    推薦理由:原文解析了通过解耦 Attention 与 FFN 服务实现 MoE 独立扩缩容的架构设计与实测数据,为大模型推理部署优化提供了参考。

  3. vLLM 官方博客(网页)73

    vLLM 在 24 张 NVIDIA B300 上部署优化 GLM-5.2:TPOT 从 40ms 降至 17ms中国語

    DaoCloud 团队在 vLLM 官方博客分享了在 24 块 NVIDIA B300 GPU 上部署 GLM-5.2-NVFP4 的生产级优化实践,采用 4P1D 的 P/D 分离拓扑将平均 TPOT 从 40ms 降至 17ms,达成 TTFT ≤ 2.5s 与 TPOT ≤ 20ms 的 SLA 目标。

    推薦理由:文章详细拆解了超大 MoE 模型在长上下文与投机解码下的端到端调优路径,给出了完整的部署配置与长周期排障经验。

  4. vLLM 官方博客(网页)81

    vLLM 宣布首日支持月之暗面 Kimi K3中国語

    vLLM 宣布首日支持月之暗面 2.8T 参数模型 Kimi K3,提供混合 KDA 前缀缓存与 DSpark 投机解码等生产级部署方案。在 16 卡 NVIDIA GB300 NVL72 上配合 DSpark 投机解码单用户吞吐可达 370 tok/s,解码速度提升 3.14 倍。

    推薦理由:文章详细拆解了针对超大混合架构模型的缓存改造与投机解码方案,为同类长上下文 MoE 的高效部署提供了完整参考。

  5. vLLM 官方博客(网页)65

    vLLM 与 Speculators 支持 P-EAGLE、DFlash 和 DSpark 并行推测解码算法中国語

    Speculators 与 vLLM 宣布全面开源支持 P-EAGLE、DFlash 和 DSpark 三种并行推测解码算法,摆脱了 EAGLE-3 等传统框架自回归逐词生成候选 token 的延迟瓶颈。

    推薦理由:原文解析了三种并行推测解码架构与训练优化机制,为大模型在线服务降低草稿延迟与参数调优负担提供了工程参考。

  6. Cloudflare Blog · 网络基础设施69

    Cloudflare 发布开源内容管理系统 EmDash 1.0 并上线去中心化插件注册表中国語

    Cloudflare 正式发布基于 Astro 架构的开源内容管理系统 EmDash 1.0,并推出基于 AT Protocol 的去中心化插件注册表。系统内置 MCP 服务器支持 AI 智能体直接调用管理,插件通过 Dynamic Worker 或 workerd 独立沙盒运行并限制权限,同时开源了 AI 建站工具 EmDash Build Alpha 版本。

    推薦理由:EmDash 结合了 Astro 框架与沙盒化插件隔离机制,为开发者和 AI 智能体协作构建与管理网站提供了可参考的架构实践。

  7. Cloudflare Blog · 网络基础设施72

    Cloudflare 发布 Kitesurf 浏览器更新:支持 WebMCP 与终端渲染中国語

    Cloudflare 宣布为其运行在 Workers 上的智能体专用浏览器 Kitesurf 推出重大更新,新增了对 WebMCP 协议的全面支持,使 AI 智能体可直接调用网页暴露的工具函数。

    推薦理由:原文展示了边缘无头浏览器专为智能体优化延迟与协议接入的演进路径,有助于开发者评估轻量化网页自动化方案。

  8. Cloudflare Blog · 网络基础设施66

    Cloudflare 开源代码生成流水线 Forge中国語

    Cloudflare 宣布开源代码生成流水线 Forge,采用 Apache 2.0 协议,支持根据 OpenAPI 规范自动生成 SDK、CLI、API 文档及 MCP 服务。

    推薦理由:文章详细说明了在大规模微服务和智能体交互场景下,如何通过可插拔流水线链式生成跨语言 SDK、CLI、文档与 MCP 服务。

  9. Cloudflare Blog · 网络基础设施63

    Cloudflare 发布 Vinext 1.0,基于 Vite 实现 Next.js 应用跨平台部署中国語

    Cloudflare 正式发布开源框架 Vinext 1.0,支持将基于 App Router 或 Pages Router 的 Next.js 项目迁移至 Vite 底座并部署到 Cloudflare Workers、Netlify 及 AWS Lambda 等平台。

    推薦理由:该框架打破了 Next.js 与特定托管平台的强绑定,为开发者评估将大型全栈应用迁移至边缘运行时提供了具体的兼容性路径与工具链。

  10. Cloudflare Blog · 网络基础设施78

    Cloudflare 发布面向智能体的全新 CLI 工具 cf中国語

    Cloudflare 宣布推出面向 AI 智能体开发的全新命令行工具 cf,覆盖全平台超过 3,000 项 API 操作,并开启全球公开测试。cf 默认采用紧凑 JSON 输出以节省上下文,提供支持自然语言检索指令的 `cf cli search`,并引入基于 TypeScript 的全新配置文件 `cloudflare.config.ts` 与 Vite 开发环境。

    推薦理由:工具将整个平台三千多项 API 封装为类型化且适合智能体检索调用的命令行,为自动化基础设施管理提供了直接参考。

  11. Google Developers · AI 筛选68

    借助 LiteRT 与 Gemma 在树莓派上构建端侧 AI 应用中国語

    Google 介绍了如何通过 LiteRT 推理运行时与 Gemma 系列轻量模型,在树莓派 5(Raspberry Pi 5)上实现完全离线、低延迟的端侧 AI 与机器人系统。

    推薦理由:原文展示了基于 LiteRT 在树莓派 5 上异构协同 CPU 与 GPU 运行 Gemma 的架构与性能数据,为低功耗端侧离线智能体提供了落地参考。

  12. Google Developers · AI 筛选54

    Google 详解为何 Go 是 AI 辅助软件工程的理想语言中国語

    Google 官方阐明了 Go 语言在 AI 辅助软件工程时代的核心优势,指出软件工程的瓶颈已从代码编写转向审查、验证与长期维护。Go 拥有内置格式化、测试和漏洞检查等标准化工具链,配合极快的静态编译速度,使 AI 智能体能够快速进行自我纠错与验证闭环。此外,Go 严格的向后兼容承诺和单二进制文件特性,有效降低了 AI 生成代码带来的供应链风险与架构漂移。

  13. Google Developers · AI 筛选66

    Google 开源 C++ 库 Credentio 用于 C2PA 内容凭据本地验证中国語

    Google 宣布开源 C++ 库 Credentio,用于处理 C2PA 内容凭据(支持 2.2 和 2.4 版本规范),支持完全在本地验证多媒体资产来源。该库已被 Google 内部近 40 款产品用于处理数百亿级图像、视频、音频和文档资产,具备低内存占用与零云端带宽开销特点。

    推薦理由:原文展示了 Google 内部用于数十亿资产校验的 C2PA 本地处理方案,为需要离线验证多媒体来源与合规性的开发者提供了低延迟参考。

  14. Google Developers · AI 筛选66

    Google Cloud 携手 HeyGen 将 Avatar IV 迁移至 Trillium TPU 并提速 1.86 倍中国語

    HeyGen 联合 Google Cloud 将 18B 参数的数字人视频模型 Avatar IV 迁移至 8 芯片 Trillium(v6e)TPU 主机,端到端推理速度相比初始版本提升 1.86 倍。

    推薦理由:文章详细拆解了将大模型从 GPU 迁移至 TPU 的通信流水线与算子重构细节,为大吞吐流式生成提供了实测参考。

  15. Google Developers · AI 筛选71

    Google 发布零信任 AI 智能体安全架构实践中国語

    Google 开发者博客发布基于 Agent Development Kit(ADK)与 Gemini 构建零信任 AI 智能体的工程实践方案,并开源了 zero-trust-agents 示例仓库。

    推薦理由:文章给出了密码学写入签名、gVisor 沙箱与确定性语义网关的三层防御方案,展示了如何用硬性工程约束替代脆弱的提示词防护。

  16. Google Developers · AI 筛选63

    如何在 Google ADK 中评测实时语音智能体中国語

    Google 在 ADK 中引入了原生实时评测功能,支持利用模拟用户以音频交互驱动实时语音智能体并自动打分。评测体系支持动态情景模拟与固定脚本两种用例,结合 Gemini TTS 合成多种音色输入,并通过基于规则的 LLM 评委对多轮轨迹和工具调用质量进行判定。开发者可通过 CLI 运行评测将其接入 CI/CD 流程,也可在 ADK Web 中查看逐轮文字转录与可内嵌播放的音频回放。

    推薦理由:文章演示了在 ADK 中通过模拟用户与 LLM 裁判端到端评测实时语音智能体的工作流,便于开发者将语音交互测试接入工程化流水线。

  17. Google Developers · AI 筛选57

    Google Cloud 推出基于 Cloud TPU 与 vLLM 的长上下文多模态嵌入推理优化方案中国語

    Google Cloud 针对千问 Qwen3 嵌入模型在 Cloud TPU 上的 vLLM 推理进行了深度优化,实现高精度长上下文多模态嵌入生成。团队通过硬件级词表填充对齐张量、优化延迟加载与编译预热,并构建混合 StepPool 架构支持 Chunked Prefill,确保在 16K 序列长度下输出与基准保持严格的数值对齐。

  18. Google Developers · AI 筛选36

    利用深度学习与 Keras 解码宇宙信号中国語

    天体粒子物理学正借助深度学习与 Keras 解码来自黑洞及超新星等极端天象的高能宇宙粒子信号。如覆盖 3000 km² 的 Pierre Auger 天文台和 1 km³ 的 IceCube 等大型设施,通过分布式传感器记录纳秒级波形并生成类图像时空数据。深度学习能有效处理这些海量复杂数据,提升仪器探测灵敏度并辅助搜寻信号异常。

  19. AWS 机器学习46

    实现 Amazon Textract 跨账户适配器生命周期管理自动化中国語

    AWS 提出 Amazon Textract 适配器的跨账户生命周期管理方案,涵盖文档预分类路由、跨环境晋升及安全配置。该方案通过 AWS Systems Manager Parameter Store 外部化管理适配器 ID,实现零停机与免重新部署更新,将变更耗时从数小时缩减至数秒。配套提供 CloudFormation 与 Terraform 模板。

  20. Google Developers · AI 筛选73

    Google 总结 AI 智能体挑战赛优秀作品的 4 个核心工程模式中国語

    Google for Startups 在 AI 智能体挑战赛收官后,总结了表现优异的多智能体方案所采用的 4 项关键工程架构模式。核心模式包括通过双向 MCP 将自身推理能力暴露为供其他智能体调用的服务、采用异步事件总线避免串行调用链累积延迟、对主备降级模型强制执行统一逻辑校验,以及利用低成本判定与正则分流降低推理开销。

    推薦理由:归纳了多智能体工程中双向 MCP 与事件驱动等架构细节,为开发者优化延迟与推理成本提供了可直接复用的方案。

  21. Google Developers · AI 筛选29

    Google Cloud 详解 Gemini Enterprise 开发者体验项目的 Sprint 实践中国語

    Google Cloud 披露 Gemini Enterprise 开发者体验项目的治理 Sprint 成果,通过模拟开发者全流程测试消除平台摩擦点。团队重点优化了智能体身份分配、Agent Registry 注册、Agent Gateway 绑定、Model Armor 安全策略与执行验证 5 大工作流,并修复了网关 API 自动放行及 IAM CEL 策略语法规范。

  22. AWS 机器学习54

    AWS 推出基于 Amazon Nova Act 与 Bedrock AgentCore 的智能体合成监控方案中国語

    AWS 推出利用 Amazon Nova Act 与 Amazon Bedrock AgentCore 构建智能体驱动的合成监控方案。该方案使用多模态大语言模型根据 UI 截图与自然语言指令操作页面,摆脱对传统 DOM 选择器的依赖,并在基于 Firecracker microVM 的隔离浏览器环境中运行。

  23. Google Developers · AI 筛选70

    Google 正式发布 ADK for Kotlin 1.0中国語

    Google 正式推出 Agent Development Kit(ADK)for Kotlin 1.0 正式版,面向 Kotlin、Java 及 Android 开发者提供原生 AI 智能体开发支持。

    推薦理由:该框架将多智能体编排与 Android 原生持久化和端侧推理结合,为 Kotlin 及移动端开发者提供了开箱即用的工程方案。

  24. Google Developers · AI 筛选72

    Google 解析 Harness 工程:如何评测、迭代与守护 AI 编码智能体中国語

    Google 开发者团队分享了针对 AI 编码智能体的 Harness 工程实践,主张引入细粒度行为评测(Behavioral Evaluation)来替代单纯依赖端到端大盘基准打分。

    推薦理由:文章拆解了 AI 编码智能体从端到端打分转向中间行为断言的评测框架,为工程团队防范提示词调整与模型升级中的行为退化提供了可落地的方法。

  25. AWS 机器学习80

    AWS 宣布在 Amazon Bedrock 与 Claude Platform 上线 Claude Sonnet 5.5中国語

    AWS 正式在 Amazon Bedrock 和 Claude Platform on AWS 上提供 Claude Sonnet 5.5。该模型针对聚焦型编程和知识工作优化,具备更快的执行速度与更低的任务单价,支持与 IAM、CloudTrail、CloudWatch 及 Bedrock Guardrails 等 AWS 原生治理工具集成。

    推薦理由:文章明确了该模型在企业工程中的分工定位与调用方式,便于开发者评估架构组合与成本配比。

  26. Cerebras 官方博客(网页)36

    更快的推理速度如何为网络安全公司带来竞争优势中国語

    更快的模型推理速度使网络安全系统能在同一操作窗口内完成更多上下文检索、深度推理与多重验证,成为安全产品的核心竞争优势。在实际落地中,安全架构通常采用分层设计,先由规则和轻量模型完成快速初筛与分类,再将高风险及敏感事件升级交给强推理模型进行深度分析。

  27. Cerebras 官方博客(网页)75

    如何充分发挥 GPT-5.6 家族能力:Sol、Terra 与 Luna 选型与实战指南中国語

    Cerebras 发布 GPT-5.6 家族(Sol、Terra 与 Luna)使用指南,详解三款模型在智能水平、推理速度与调用成本上的权衡策略。

    推薦理由:文章系统梳理了各尺寸模型在多智能体系统中的梯队搭配与缓存复用策略,便于优化长任务工作流与控制成本。

  28. Cerebras 官方博客(网页)70

    Cerebras 联合 OpenAI 推出 Ultrafast Mode:驱动 GPT-5.6 Sol 达到每秒 750 Token中国語

    Cerebras 与 OpenAI 联合推出由 Cerebras 晶圆级架构驱动的 Ultrafast Mode,GPT-5.6 Sol 在该模式下输出速度最高可达 750 output tokens per second。

    推薦理由:原文给出了 Cerebras 驱动大模型超高速推理的实测吞吐与基准耗时,读者可以据此判断高吞吐推理对实时智能体交互的改进幅度。

  29. Cerebras 官方博客(网页)66

    Cerebras 详解 CS-4 机架架构并公布 CS-5 与 CS-6 路线图中国語

    Cerebras 在 HOT CHIPS 2026 上详细解析了基于 Nexus 机架平台的 CS-4 系统架构,并公布了 CS-5 与 CS-6 的技术演进路线。

    推薦理由:Cerebras 披露了 CS-4 机架级供电与散热架构细节,并展示了通过 3D 堆叠 DRAM 突破晶圆级内存瓶颈的技术演进路径。

  30. Cerebras 官方博客(网页)77

    Cerebras 如何实现 GPT-5.6 Sol 高达每秒 750 tokens 的高速推理中国語

    Cerebras 通过其 WSE-3 晶圆级芯片支持 OpenAI GPT-5.6 Sol 的 Ultrafast 模式,在不降低精度、不蒸馏且不改变权重的条件下实现了高达 750 output tokens/s 的推理速度。

    推薦理由:文章详细拆解了晶圆级芯片利用片上超大带宽 SRAM 消除显存墙以实现高速大模型推理的硬件架构与工程实现。

  31. Cerebras 官方博客(网页)66

    Cerebras 详解用自然语言 AI 智能体自动化测试云控制台的实践中国語

    Cerebras 详细介绍了其内部构建的端到端测试框架 console-prompt-tests,使用纯自然语言描述测试用例,并由大语言模型智能体通过 Playwright MCP 协议驱动真实浏览器完成交互与校验。

    推薦理由:原文详细拆解了用自然语言智能体驱动浏览器测试与自动修复前端漂移的架构,为研发团队重构端到端测试流程提供了可落地的参考。

  32. Cerebras 官方博客(网页)38

    Cerebras:为什么网络防御需要更快的 AI 推理中国語

    Cerebras AI 推理运行 GPT-5.6 Sol Ultrafast 比标准处理快达 14×,可将网络安全分类与响应速度提升 5–10×。在可疑文件分析测试中,Cerebras 仅耗时 58 秒,而标准处理需 4 分 43 秒。此外,Cerebras 携手 CrowdStrike Falcon AI 检测与响应平台,为告警分流与威胁搜猎等场景提供推理加速。

  33. Cerebras 官方博客(网页)68

    Cerebras 发布第四代 AI 系统 CS-4:推理速度最高达 GPU 的 30 倍并支持解耦架构中国語

    Cerebras 正式发布第四代 AI 加速系统 CS-4,搭载三颗 Wafer Scale Engine 3 Turbo 处理器并采用全新 Nexus 机柜架构,官方称其推理速度最高可达 GPU 系统的 30 倍。

    推薦理由:CS-4 将晶圆级算力与解耦推理结合,为十万亿参数超大模型的交互式生成提供了不同于传统集群的低延迟硬件方案。

  34. LlamaIndex 官方博客(网页)32

    KYC 自动化:如何用可扩展且合规的工作流替代人工验证中国語

    KYC 自动化通过软件执行身份验证、文档提取、制裁筛查与风险评分,将标准案例的处理时间从人工模式的数天缩短至数分钟到数小时。该方案消除了人工审核成本随业务量线性增加的痛点,并提供带时间戳的完整审计日志以应对监管合规。针对格式多样的问题,工作流可结合 LlamaParse 智能文档解析将各类文件转化为结构化数据。

  35. LlamaIndex 官方博客(网页)32

    收入核验 API:如何实现基于文档的大规模自动化收入核验中国語

    针对自由职业者与零工等无法被传统薪酬系统覆盖的群体,金融服务机构需依托自动化文档处理实现规模化收入核验。文章对比了薪酬 API(如 Argyle、Pinwheel)、开放银行数据、人工审核与文档提取 API(如 LlamaParse)等方案的优缺点。结合薪酬直连与高精度文档解析的混合方案,能全面覆盖多样化收入形态并输出结构化决策数据。

  36. LlamaIndex 官方博客(网页)27

    抵押贷款文档自动化:重塑贷款处理流程中国語

    抵押贷款文档自动化通过引入智能文档处理技术,将工资单、银行流水和税表等非结构化文件转化为结构化数据,以重塑传统贷款处理流程。系统结合机器学习与计算机视觉实现版面感知解析,可精准提取表格与嵌套财务数据并保留字段关联。配合跨文档校验规则与人机协同审核机制,该方案能有效减少人工处理延迟并降低信贷合规风险。