把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
在 AgentX 基准评测中，8 卡 AMD Instinct MI355X 系统使用 vLLM 运行 Kimi K3 时，在 50 tokens/s/user P90 交互延迟下实现每 GPU 约 7,567 tokens/s 的总吞吐量，比 NVIDIA HGX B300 高出 24.4%，按 TCO 模型换算每美元 token 产出提升 87.4%。
Why it matters: 原文系统拆解了针对 MoE、MLA 和长上下文状态的端到端调度优化方案，为异构硬件适配超大模型提供了可迁移的工程参考。
开源命令行工具 sjq 正式发布，专用于大语言模型流式响应的解析与性能分析。针对流式接口中占比超过 98% 的冗余封装，sjq 能逐行输出增量 token 并自动分离链式推理与正文内容；工具还提供 TTFB、TTFT 及每秒 token 速率等耗时统计，支持直接接驳管道或作为 curl 的包装运行。
Why it matters: 该工具解决了命令行调试流式大语言模型响应时冗余字段过多与计时困难的问题，适合开发者优化接口调试流。
Vals 宣布建立针对大模型路由器的独立端到端评测体系，指出前沿模型在不同专业领域能力分布不均，理想路由器能在 Vals Index 上比最优单一模型高出 14 分并降低约 40% 成本。该评测涵盖金融、代码、法律和税务等 8 项长时程专家级真实任务，在多步 Agent 动态执行中同时衡量决策质量、调用开销与 Prompt 缓存失效代价，近期将上线公开排行榜。
Why it matters: 文章基于多领域基准指出单一前沿模型难以兼顾所有场景，系统阐述了在长时程智能体任务中评估模型路由器质量与调用成本的方法。
Seldon 推出 Seldon Functions，可将数据管道中的前沿大语言模型调用自动编译为由小模型、专用模型和确定性代码组成的多步骤程序，并通过 OpenAI 兼容端点一键切换。
Why it matters: 文章详细公开了将前沿模型调用编译为专用管道的实验数据与收益平衡点，适合高吞吐量工程团队参考。
Granite Switch 4.1 系列模型（8B 与 30B）正式发布，将通用决策 aLoRA、安全决策 Guardian aLoRA 以及语音识别模型整合至单一托管端点。适配器与基座模型共享显存并复用基座生成的 KV cache，可在对话响应、多步骤决策及语音转文字等任务间快速切换。该系列模型支持开箱即用，官方后续还将发布 Adapter SDK 供社区训练与组合自定义适配器。
Why it matters: 原文展示了多适配器共享显存与缓存的架构设计，读者可以参考如何以低开销在单端点组合多任务工作流。
开源自托管部署平台 Brod 正式发布，允许 Claude Code 和 Cursor 等 AI 智能体通过 MCP 协议直接在内网部署团队内部工具。系统基于 Docker Compose 运行并采用 AGPL-3.0 协议开源，提供统一登录、基于角色的权限控制、暂存发布与回滚机制，应用服务端运行在独立的 workerd 运行时并自带 SQLite 和加密密钥存储。
Why it matters: 该项目为智能体生成的碎片化内部工具提供了统一的鉴权与托管平台，便于团队快速跑通智能体自动部署闭环。
Actual Computer 推出专为自有设备优化的推理引擎 e，可将 NVIDIA DGX Station 转化为部门级 AI 工厂，并通过基于机密计算的 api.actual.inc 端点对外提供 OpenAI 兼容的远程访问服务。
Why it matters: 原文给出了本地工作站承载智能体集群的实测吞吐数据与电费对比，为团队评估自建本地推理算力提供了参考。
SGLang 是由 LMSYS 开源的高性能推理服务框架，针对大语言模型、视觉语言模型和扩散模型在智能体工作流、大规模在线服务及强化学习 rollout 场景下进行了专门优化。
Why it matters: 该框架整合了大模型与扩散模型的统一推理加速支持，为需要兼顾高吞吐服务与复杂智能体工作流的团队提供了异构硬件部署方案。
Meta 工程团队复盘 2026 世界杯基础设施保障实践，WhatsApp 在决赛期间创下超 3000 万条消息/秒的平台纪录，并在单个 5 分钟窗口内传输近 84 亿条消息。
Why it matters: 原文复盘了全球同时达峰场景下的架构应对方案，为超大规模并发系统的容量预置与弹性降级提供了可迁移的工程经验。
vLLM 联合 Meta 推出对开源 MoE 模型 Muse Spark Open 的首发支持，全面适配 816B 总参数、42B 激活参数与 1M 上下文窗口。
Why it matters: 原文详细拆解了 816B 稀疏架构的缓存缩减机制与跨芯片部署方案，为开发者评估超长上下文及多硬件投机解码提供了直接参考。
Amazon SageMaker JumpStart 现已上线 Meta 针对代码与智能体工作流优化的开源权重模型 Muse Spark Open，支持在自有 AWS 账户内快速部署。
Why it matters: 文章梳理了在 SageMaker AI 部署该 816B 混合专家模型的算力配置与调用流程，方便开发者评估长上下文代码智能体的私有化托管方案。
Ollama 正式发布 v0.40.5 版本，新增对 NVIDIA Nemotron 3.5 Super 与 Nemotron 3.5 Bolt 视觉语言模型的支持，可通过 `ollama run nemotron-3.5-super` 直接运行。
Why it matters: 该版本加入对混合架构大模型的本地运行支持并开放云端决策模型，便于开发者在本地或云端接入更长上下文的推理任务。
Apple 展示了利用最新版 MLX 结合 Thunderbolt 5 RDMA 驱动，在多台 Mac Studio 上实现近万亿参数大模型的本地与分布式并行推理。
Why it matters: 材料详细展示了多台设备通过雷电网络实现张量与流水线并行的配置方式，为端侧集群部署前沿大模型提供了参考基准。
vLLM 宣布首发支持 NVIDIA Nemotron 3.5 Super VL，提供连续批处理、前缀缓存、投机解码和 OpenAI 兼容 API 等部署能力。
Why it matters: 原文给出了通过 vLLM 部署混合架构 MoE 视觉智能体模型的配置，为长上下文多模态推理提供了工程参考。
AWS 副总裁 Shawn Bice 撰文提出智能体治理框架 Trust in Depth（深度信任），主张借助数学逻辑与形式化自动推理，在给予智能体自主权的同时避免失控。
Why it matters: 文章提出了结合自动推理的智能体四层治理框架，为企业在扩大智能体自主权与避免人工审批瓶颈之间提供了可落地的工程思路。
CommonForge 是一个开源自托管协作工作区，允许服务商、客户及其 AI 编码智能体在隔离代码副本中安全修改网站。客户提交需求任务后，智能体在限定目录权限的沙箱副本中执行修改，所有变更经预演环境测试与人工审核后才能发布至生产环境，且支持版本随时回滚。
Why it matters: 项目为开发团队与客户协同引入了隔离沙箱和审核流，解决了允许外部智能体直接修改代码时的权限失控隐患。
Anthropic 宣布弃用 Git 并转用自研版本控制系统 Scion，将大部分操作转移至服务器端，以满足智能体和自动化任务的高频代码变更需求。公司每日代码合并次数从 5 月的 2500 次激增至 9 月的超 3 万次，Scion 将 CPU 和内存消耗降至 Git 的两百分之一，代码检出耗时从几分钟缩短至数秒。
Why it matters: 原文披露了高频智能体编码场景对传统版本控制系统的性能瓶颈，给出了服务端架构在降低资源开销方面的实测数据。
Google 开发者团队发布 AI 智能体系统化评测指南与配套开源工具 agent-eval，帮助团队告别仅凭主观体感（vibe check）抽测的粗放模式。方案倡导将评测锚定在关键用户旅程（CUJ），结合合成用户模拟与固定黄金数据集，采用布尔型判定代替模糊的 1 到 5 分制打分，并同步监控延迟、Token 消耗与工具调用等运行开销。
Why it matters: 拆解了从人工标记 Trace 到自动化布尔评测的落地步骤，为智能体工程化排查隐形故障提供了清晰可复用的流水线范式。
前图形工程师 Cameron Egbert 在 RTX 3090 上结合 llama.cpp 与 Qwen3 模型，系统实测并拆解了大语言模型推理的底层瓶颈与优化手段。
Why it matters: 从图形工程视角拆解量化与投机解码在本地推理中的真实损益，为调优推理性能提供了明确的权衡参考。
Unsiloed 发布结合 Meta Muse、Unsiloed 与 TypeSafe Jev 模型构建自动化记账智能体的实践方案。
Why it matters: 文章详细拆解了将文档解析、硬性计算与概率判断分流的架构设计，为多工具协同构建落地 Agent 提供了可复用范式。