把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
开源个人 AI 助手 Talorys 正式发布，支持用户通过一条命令将其完全部署在个人的 Cloudflare 免费账户中。该系统基于 Cloudflare Pages、Workers、内置 SQLite 的 Durable Objects 以及 Workers AI（采用 GLM-4.7-Flash 模型）构建，提供流式对话、持久记忆、任务与项目管理及定时提醒等功能。
推薦理由：项目展示了如何完全借助云厂商免费边缘计算资源搭建无服务器持久化个人智能体，架构设计具有参考价值。
文章拆解了在 Claude Code 等智能体终端输入请求后，从用户界面贯穿到底层模型权重的十层完整链路。全链路分为用户侧的界面、上下文、测试套件（Harness）与工具调用，以及云服务商侧的 API、超大规模数据中心、前缀缓存、推理服务、GPU 和模型权重。
推薦理由：原文完整拆解了从终端输入到模型权重的十层全链路，读者能据此理清 Agent 框架与底层算力基础设施的调用关系。
vLLM 宣布正式支持 NVIDIA Vera Rubin NVL72 平台，在 AgentX 基准测试运行 MiniMax M3 时实现 GB200 NVL72 单 GPU 吞吐量 7.8 倍的提升。
推薦理由：文章公布了面向 Rubin 架构的局部性域 MoE 优化与实测数据，便于开发者评估新硬件在 Agent 推理场景下的吞吐收益。
作者在搭载 GB10 的 NVIDIA DGX Spark 上使用 vLLM 部署 Qwen3.5-35B-A3B FP8 模型，实测评估了连续批处理、自动前缀缓存与结构化输出能力。
推薦理由：原文通过具体硬件实测展示了连续批处理和前缀缓存的吞吐增益，为本地批量推理选型提供了量化参考。
LangChain 介绍了在其开源编码智能体 Open SWE 的 Harness 中构建模型路由器的实践，在保持 PR 合并率无显著差异的前提下将每线程中位数成本降低了 64%。系统通过分类器将请求匹配至 GLM-5.3-Flash、GPT-5.6 Sol 与 GPT-6 Astra 三档模型，并在首条消息触发时由中间件完成决策；官方现已推出配套的模型路由中间件供开发者直接调用。
推薦理由：文章拆解了编码智能体按任务复杂度动态分发模型的落地流程，为面临高调用成本的团队提供了可复用的中间件设计方法。
TaskHandoff 正式开源发布，这是一个用于在本地与远程机器上运行、管理并协作容器化 AI 智能体工作空间的自托管控制平面。系统采用控制平面、节点代理与受控实例三层架构，支持多节点生命周期管理、Docker 隔离环境、镜像模板与 Git 凭据管理。此外，平台集成了 Telegram、钉钉、微信和飞书等即时通讯网关，并提供桌面及移动端客户端支持。
推薦理由：原文提供了多节点容器化工作空间管理与即时通讯网关，读者可借此了解如何在本地与远端统一调度 AI 编程智能体。
Ai2 基础设施团队将其 GPU 集群调度器改造为基于时间预算、层级公平份额与调度契约的全新系统，以解决多团队争抢算力时的占坑与优先级膨胀问题。新方案通过设定最小运行时保障和自动时间分片，在集群占用率保持 98% 的同时，将调试作业 p90 排队时间从 2 小时缩短至 30 秒。此外，不健康节点的自动排空机制使需要人工介入的运维修复工作减少了 74%。
推薦理由：文章详细复盘了大规模 GPU 集群中解决占坑与优先级通胀的调度改造方案，提供了可迁移的预算分片设计经验。
Postman 联合 AWS 详解了其面向 4000 万开发者运行 Agent Mode 的架构设计与工程实践，重点解决成熟产品中工具泛滥与上下文瓶颈问题。系统通过向量检索将 170 多个工具动态裁剪至当前任务所需的约 15 个，并采用基于 ClickHouse Schema 的结构化查询引擎替代单一读取工具。
推薦理由：原文系统梳理了将 AI 智能体集成到成熟复杂产品时的工具动态剪裁、Schema 直读与分层 Prompt 缓存架构实践。
微软推出跨平台沙箱代码执行系统 MXC（Microsoft eXecution Container），用于在 Windows、Linux 和 macOS 上隔离运行大模型输出、插件与工具等不受信任的代码。
推薦理由：项目统一了跨平台沙箱后端与强类型 SDK，为运行大模型生成代码和外部工具提供了可直接嵌入应用的隔离方案。
Deno 团队宣布整体加入 Cloudflare，未来将把研发重心转向结合 Workers 与 Durable Objects 的分布式应用平台 celld。Deno 运行时将继续获得一年的月度修复与安全更新，期满后官方停止维护但保持开源；Deno Deploy 将在 6 个月后关停并为付费用户提供迁移支持，JSR 则将迁移至 Cloudflare 继续运营。
推薦理由：该决定明确了 Deno 运行时与托管服务的关停时间表，使用相关技术栈的团队需尽早规划迁移路径。
TokenRouter 是一套面向 Token 级大模型路由的高性能推理服务引擎，支持大小模型在单次生成中按 Token 或 Span 粒度协同解码。系统基于 SGLang 0.5.1 构建，采用 KV Cache 本地驻留、仅传输 Token 后缀与路由状态的架构，并通过延迟批处理（Delayed Batching）与 CUDA Graph 优化调度效率。
推薦理由：原文给出了多模型混合推理时的延迟调度与状态保留方案，读者可参考其在长短链协同推理中的工程实现。
中科曙光联合西安交通大学科研团队依托国产十万卡超集群曙光8000，完成了6.774万亿网格规模的火箭多喷口超声速射流高精度数值模拟。针对国产芯片算力增长快于带宽的特性，团队改用气体动理学格式（GKS）底层算法并优化算子融合与通信隐藏，实现了99.01%弱扩展效率与0.249EFLOPS双精度有效算力，全软件栈摆脱对CUDA生态的依赖。
推薦理由：团队针对国产芯片高算力与相对低带宽的特性重构底层算法，为超大规模集群适配复杂科学计算提供了可复用的工程方案。
文章提出在 AI 智能体导致代码产出激增的背景下，软件交付瓶颈已转移至测试验证环节，基础设施平台需转向按需提供临时隔离环境与可验证证据。方案结合 Kubernetes、Cluster API、Argo CD 与 MCP 协议，让智能体通过统一接口按需申请特定配置环境、执行并行测试并在完成后自动回收资源。
推薦理由：文章系统梳理了智能体编码导致测试瓶颈的应对方案，为平台工程团队利用 Kubernetes 与 MCP 构建自动化临时验证环境提供了架构参考。
Hex 团队通过建立 1,800 个用例的评测集并利用编码智能体进行爬山优化，将 Quick Edits 功能的错误编辑率从 21% 降至 3%。团队发现超过 50% 的性能提升来自模型外围的验证器容错与属性描述重构，而非单纯修改提示词；同时保留约 40% 的留出集和单用例 10 次采样可有效避免智能体过拟合与评估噪声。
推薦理由：团队给出了通过验证器工程而非单纯调整提示词来收敛模型错误的具体工程实践，对构建高可靠应用有参考价值。
Google AI Edge 团队在 Apache 2.0 协议下开源跨平台端侧 GPU 推理引擎 ML Drift，作为 LiteRT 的核心加速组件并正式取代旧版 TFLite GPU delegate。
推薦理由：原文给出了端侧硬件抽象方案与实测迁移收益，读者可据此评估移动端和跨平台图形管线的模型部署路径。
DocFlare AI 正式开源，这是一款基于 Cloudflare 原生免费层构建的文档 RAG 搜索与聊天挂件。用户无需自备 API Key 或外部服务器，通过单行 script 标签即可将基于 Workers AI、Vectorize 和 D1 的流式回答组件嵌入文档站点。系统内置网站地图爬虫、章节分块与两阶段重排检索，免费额度下每日可支持约 120 至 280 次问答。
推薦理由：项目展示了如何完全依托 Cloudflare 免费配额搭建轻量 RAG 知识库，为个人和开源团队降低了文档搜索接入成本。
Google 开源了环境质量智能体 AQuA（Ambient Quality Agent），作为外循环旁路运行在 Google Cloud 项目中，全天候自动抓取、聚类并诊断生产环境智能体的静默失败。
推薦理由：Google开源了针对生产环境智能体的外循环质量监控框架，展示了如何从线上追踪数据自动归因到具体代码行。
开源项目 AI SRE Arena 正式发布，提供了一套评估 Kubernetes 环境下 AI SRE 智能体排障能力的中立基准套件。该工具支持在本地 kind 或 AWS EKS 集群上注入故障、自动保存排障记录并接入大模型裁判进行多维度评分，包含 21 个全量场景与 6 个轻量冒烟场景。
推薦理由：原文提供了可复现的 Kubernetes 故障注入与评测流程，便于工程团队横向对比不同 AI 运维智能体的排障能力。
随着前沿 AI 模型训练突破单数据中心的电力与空间限制，跨数据中心协同训练正在将传统 DCI 网络重塑为高带宽、深缓存的分布式算力互连网络。跨站点同步训练需要数万张加速卡周期性同步梯度数据，引发严重的突发流量和 Incast 拥塞，数百公里的光纤传输更拉长了拥塞反馈周期。
推薦理由：原文系统梳理了跨数据中心分布式训练引发的网络拥塞与反馈延迟难题，读者可以据此理解跨站点 AI 互连架构的设计权衡。
开源 HTTP 网关 llm-gauze 正式发布，用于置于客户端与本地大语言模型之间自动拦截并修复模型异常。该工具能够捕获瞬时报错、静默挂起、死循环、空回复、上下文溢出和格式错误的工具调用，并在向客户端返回结果前自动执行重试、清理思考标签或调整采样。服务通过 Docker 容器部署并暴露兼容 OpenAI 的 API 接口，默认监听 9317 端口并记录全部交互日志。
推薦理由：该项目针对本地大语言模型常见的死循环与格式错误提供了透明代理修复方案，可直接作为工程落地的容错参考。