把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
开源大模型分布式推理服务平台 llm-d 正式发布 v1.0.0 版本，统一了各核心组件版本并将路由配置 API 升级至稳定版。新版本引入 DisaggregatedSet 将 Prefill 与 Decode 副本作为单一逻辑单元统一管理，支持零停机滚动更新与高可用路由，并针对智能体工作流新增了会话亲和与轮次优先级调度以复用上下文缓存。
推薦理由：该版本统一了全组件版本并规范了分离式推理架构，为在大规模生产环境中落地零停机模型服务提供了标准化参考。
Argus 发布 0.7.3 版本，这是一套可在 VPS 上长期、无人值守运行 AI 智能体的自托管系统，支持通过 Web 界面与 Telegram 交互控制。
推薦理由：该项目通过沙箱隔离、纯代码拦截与预算熔断机制，为开发者在服务器长期运行无人值守智能体提供了防止失控的工程方案。
vLLM 推出针对 GLM-5.3 的长上下文推理优化方案，在 16 张 H200 上结合 PCP、DCP 与 Hybrid HiSparse 技术，实现了 1M token 上下文支持并在 AgentX 基准上达到数据并行部署 1.7–3.2 倍的单用户速度。
推薦理由：原文详细对比了 PCP 与 DCP 分片如何打破超长上下文的显存与计算瓶颈，为大模型长上下文推理部署提供了具体可落地的工程参考。
SemiAnalysis 实测 AWS Trainium3 机架与 TorchNeuron 软件栈，指出亚马逊正通过转向原生 PyTorch 支持与高精度性能分析工具全力攻入 AI 训练场景。
推薦理由：原文详述了 Trainium 从 XLA 转向原生 PyTorch 的兼容性与实测吞吐数据，读者可据此评估非英伟达集群在训练场景下的迁移成本。
OpenAI 分享了通过可靠的多租户架构、全局缓存以及 Azure Cosmos DB 扩展 Habitat 在线存储系统的实践，使 ChatGPT 的读取性能提升了 12 倍。该方案旨在应对 ChatGPT 超过 10 亿用户规模下的在线存储挑战。
推薦理由：文章介绍了结合多租户设计、全局缓存和分布式数据库优化在线存储的具体架构方案，可为超大规模高并发读取系统设计提供参考。
浏览器自动化工具 AWFlow 详细阐述了其避免多智能体死循环与 Token 账单暴涨的协调运行时设计。系统提供主管分配（Lead routes）、流水线（Pipeline）和开放讨论（Open table）三种协作模式，并根据有向交接图谱动态为智能体挂载委托工具，交接时仅传递任务与必要上下文而非完整对话历史。
推薦理由：文章详细拆解了如何通过代码层权限图谱和预算检查来约束多智能体，为解决多 Agent 协作死循环提供了清晰的工程落地路径。
IETF WIMSE 工作组联合 OpenAI、AWS、Okta 等机构发布《AI 身份管理系统》（AIMS）规范草案，为 AI Agent 交互的身份认证与授权建立标准化框架。
推薦理由：草案系统性梳理了如何基于既有协议构建智能体身份与授权体系，为多智能体系统的权限隔离提供了工程落地规范。
作者通过结合开源项目 Kamaji 与 HAMi 的 mock 设备插件，在单台无物理 GPU 的机器上成功搭建了两个相互隔离的多租户 Kubernetes 集群，并完成 GPU 算力切分调度验证。
推薦理由：针对无物理硬件时验证集群调度的难题，原文给出了结合托管控制面与显卡模拟插件的完整本地搭建路径。
开源自主运维项目 Warden 正式发布，专为 Ubuntu 服务器提供全天候自动化运维与故障修复。该工具基于纯 Python 标准库构建且零外部依赖，采用确定性哨兵实时读取内核计数器与日志，仅在遇到未知异常需要裁决时才唤醒大模型，默认支持 DeepSeek 并兼容 OpenAI、Claude 等接口。
推薦理由：项目展示了确定性规则拦截与大模型按需介入结合的运维架构，为降低常驻智能体调用成本提供了实用设计参考。
IBM 推出面向开源推理引擎 vLLM 的插件库 vLLM-Hook MIA，允许开发者在模型推理运行时低延迟监测与干预内部状态。该方案解决了以往可解释性工具必须关闭 CUDA Graphs 图回放并导致推理显著变慢的问题，在 Llama 8B 与 Qwen 1.5B 上的干预延迟开销仅约 2%，Llama 70B 仅约 6%。
推薦理由：该插件解决了高吞吐推理引擎中图捕获机制阻碍模型内部监控的痛点，为企业在生产环境实施低延迟安全干预提供了工程参考。
SemiAnalysis 测试显示 Anthropic 正对 Claude 订阅额度进行 A/B 灰测，测试组账号每周总 token 额度从 65.79 亿缩水 20% 至 52.66 亿。
推薦理由：实测数据揭示了大模型厂商订阅制背后的算力成本压力，为观察模型商业化模式与底层工程优化提供了切实的对比视角。
开发者推出大模型显存实测查询网站 quantized.uk，提供 117 个大语言模型在 RTX 4090、RTX 3090、M3 Max 等真实硬件上的显存占用与推理吞吐（tok/s）实测数据。网站涵盖 GGUF 与 AWQ 等量化格式，并提供不同上下文长度下的显存占用对比及 4-bit 量化损耗分析，帮助本地部署用户按显存容量快速匹配合适模型。
推薦理由：该工具基于真实硬件给出了 117 个量化模型的显存占用与推理速度实测数据，读者可按显卡显存快速完成本地部署选型。
vLLM 宣布为 MiniMax-M3.1-Flash 提供首日推理支持，全面适配 NVIDIA Blackwell、Rubin 以及 AMD MI350 系列 GPU。
推薦理由：原文详述了针对原生低精度稀疏架构在跨硬件平台的算子融合与并行优化细节，为大模型低延迟推理部署提供了可迁移的工程实践参考。
Cerbère 发布面向自主 AI 智能体的运行时安全与可观测性工具，通过在模型决策与外部工具执行边界之间拦截检查，实现基于数据流的污点追踪。当智能体读取的敏感密钥或个人隐私信息被传入外部工具参数时，系统即使面对编码绕过也会直接阻断。项目采用规则、本地机器学习与大语言模型裁判三层检测架构，并已原生支持 MCP 服务端集成与 Docker 自托管部署。
推薦理由：该项目将防御重点从前端提示词拦截转向运行时数据流，为智能体敏感数据外泄防护提供了可落地的污点追踪方案。
Shopify 研发团队构建了移动端远程开发环境 Remote Dev，让内部 AI 智能体 River 能够直接在云端自主执行 iOS 与 Android 的编码、构建与模拟器测试。
推薦理由：原文复盘了通过预热 Mac 集群与嵌套虚拟化为智能体搭建移动端运行环境的方案，展示了如何突破本地编译与测试瓶颈。
Amazon SageMaker AI 推出训练会话 API（training session APIs）及配套 cookbook，允许开发者在本地 Python 代码中完全掌控训练循环逻辑，底层由托管 GPU 执行模型加载、采样与梯度更新。
推薦理由：该功能将训练循环逻辑与底层算力解耦，开发者在本地编写自定义奖励或损失函数的同时，无需运维 GPU 集群且按处理 token 计费。
Amazon SageMaker AI 宣布无服务器模型定制下的 training sessions 功能正式全面可用，允许开发者在无需管理底层 GPU 算力的情况下自主编写和编排后训练循环。
推薦理由：平台将复杂的强化学习训练循环与底层算力运维解耦，开发者无需预留和配置 GPU 集群即可灵活定制多轮交互模型。
Google 宣布推出 Agent Compute Engine 服务，为每个 AI 智能体分配由 Titanium 芯片保障安全的独立硬件隔离微型虚拟机，目前已驱动 Gemini 并将在未来数月内开启预览。
推薦理由：原文介绍了通过微虚拟机隔离与共享内存提升并发密度的架构，有助于读者评估大规模智能体部署的算力成本优化方案。
AWS 介绍了在 Amazon SageMaker AI 上基于轻量级 Kokoro-82M 模型实现 AI 智能体低延迟流式语音合成的工程方案。该方案通过 WebSocket 双向流在模型生成每句话时即时推向 TTS 端点，使独立首包音频延迟从 329.3 ms 降至 156.7 ms（降低 52.4%）。
推薦理由：文章详细拆解了语音智能体按句流式合成的 WebSocket 双向通道与帧处理细节，为降低端到端语音交互延迟提供了可复用的工程方案。
开源托管智能体平台 Omnara 正式发布并在 Apache 2.0 协议下提供免费自托管方案，对标 Claude Managed Agents 与 OpenAI Agents API。
推薦理由：该项目提供了对标闭源托管服务的开源自建方案，使开发者无需绑定单一厂商即可跨模型与私有机器运行多智能体系统。