把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
Google 开源了面向 TPU 设备的原生 PyTorch 后端项目 TorchTPU，允许用户直接在 TPU 上运行 PyTorch 模型与算子。该项目提供了自定义 ATen 算子实现、优化 XLA 计算的编译缓存，并集成了 torch.compile() 图模式与分布式训练支持。
推薦理由：该项目为 TPU 提供了原生 PyTorch ATen 算子和编译缓存，降低了在 Google TPU 设备上部署和训练模型的门槛。
AWS 正式推出开源物理 AI 工具链 Physical AI Toolchain，旨在打通机器人从数据收集、训练、仿真验证到边缘部署的全流程。
推薦理由：该工具链串联起仿真生成到边缘部署的全流程，有助于读者理解云服务商整合具身智能软硬件开发栈的演进路径。
Anthropic 披露了专为 AI 智能体编程构建的内部版本控制系统 Scion，用以替代在超大规模吞吐下遭遇瓶颈的 Git 单体仓库。
推薦理由：Anthropic 披露了为应对智能体高频代码产出而研发的内部版本控制系统，为 AI 时代的工程基础设施改造提供了系统设计参考。
DeepSeek 按照 Apache 2.0 协议正式开源其内部推理框架 DeepInfer，该框架基于 vLLM 构建，主要用于支撑 V4.1-Flash 模型的大规模低延迟推理。
推薦理由：该框架公开了其低成本服务背后的工程优化，为开发者自建低延迟高并发推理栈提供了直接参考。
Google 宣布开源 PyTorch 版本 TorchTPU，允许开发者仅需简单配置、无需重写代码即可将 PyTorch AI 应用迁移至 Google TPU 芯片及 Google Cloud 运行。
推薦理由：云巨头接连通过无需重写代码的 PyTorch 分支降低迁移门槛，反映出自研芯片在软件生态层面向传统 GPU 发起正面竞争。
作者利用零刻 GTR7 迷你主机通过 USB4 转接卡外接 NVIDIA RTX 3090 显卡，在 Arch Linux 上成功搭建了本地大语言模型推理节点。
推薦理由：文章给出了迷你主机外接显卡运行本地模型的内核调优与配置参数，为低成本搭建私有化推理环境提供了可迁移方法。
vLLM 联合 Google 推出专为 Google Cloud TPU 设计的后端插件 vllm-torchtpu，允许直接复用已有模型定义并在 TPU 上实现高性能推理。
推薦理由：该插件让 vLLM 现有模型无需修改即可在 TPU 上运行，并提供了完整的解耦推理与并行加速支持。
Hugging Face 宣布通过 TorchTPU 原生支持 Google TPU，Transformers 与 Diffusers 库无需再依赖 PyTorch/XLA 或 Optimum TPU 即可直接运行模型。
推薦理由：开发者无需再转换到 JAX 或配置复杂的 XLA 堆栈，使用标准 PyTorch 代码即可直接在 TPU 上部署运行开源模型。
开源分布式推理框架 llm-d 正式发布 v1.0 版本，将跨云与跨加速器的分布式推理控制面推向生产级稳定阶段。该版本毕业了稳定的 v1 配置 API，引入多租户服务质量流控、路由器高可用热备以及 DisaggregatedSet 协同滚动升级，并原生提供会话感知路由与轮次优先级调度以支持长上下文智能体工作流。
推薦理由：原文详述了分布式推理控制面进入稳定运营阶段的技术细节，读者可据此评估多硬件与跨云推理架构落地方法。
Google 宣布将 TorchTPU 深度集成至分布式训练套件 TorchTitan，推出支持 Google Cloud TPU 的专用开源分支。该框架引入 SimpleFSDP、全步骤图捕获的 Graph Trainer 及 Pallas 融合算子，使开发者无需重写为 JAX 即可直接在 TPU 上高效训练原生 PyTorch 模型。
推薦理由：文章详细拆解了如何通过编译友好设计抹平 PyTorch 与 TPU 的隔阂，为非 JAX 技术栈的大模型分布式训练提供了落地参考。
Google 联合 Inferact 与 RadixArk 推出基于 TorchTPU 的原生 PyTorch 后端，让 vLLM 与 SGLang 能够直接在 TPU 上运行并保留标准 PyTorch 开发调试体验。
推薦理由：原文给出了基于 TorchTPU 的原生软硬件协同架构与 KV 缓存管理方案，为开发者在 TPU 上低成本部署开源大模型提供了可落地参考。
HPE 宣布其 Spaceborne Computer-4 计算模块将搭载 Astrolab 的 FLIP 月球车前往月球南极，作为首个在月球表面运行的 HPC 与 AI 基准测试平台。
推薦理由：该系统展示了商用级硬件在月球真空及高辐射环境下运行端侧大模型的可行性，为极端边缘计算提供了硬件参考架构。
运行多个 Claude Code 会话时的主要物理内存（RAM）开销通常来自每个会话独立派生的 stdio MCP 服务及其子进程，而非 claude 进程本身。
推薦理由：作者通过进程树实测指出多会话内存开销主要来自重复启动的 MCP 服务，并给出了基于 PSS 与 cgroup 的容量规划与隔离方案。
DeepSeek 宣布将其内部推理框架 DeepInfer 全面开源，同步开源生产级 Token 编解码组件 deepseek-recipe。DeepInfer 集成高性能算子与推理引擎，支持分布式推理、推测解码、SWA Bounded Replay 及结构化输出，兼容英伟达与华为昇腾平台，此前已用于支撑 DeepSeek V4.1 Flash 的大规模推理服务。
推薦理由：官方公开了支撑其在线服务的高并发推理框架与编解码组件，为大模型私有化部署和算力降本提供了开箱即用的参考工程。
Hugging Face 正式推出 AnyLanguageModel 1.0 以及配套的 swift-huggingface 1.0 和 swift-xet 1.0，作为苹果 Foundation Models 框架的直接替代方案。
推薦理由：该版本让苹果平台开发者只需替换导入语句，就能以统一接口自由切换端侧推理与云端托管模型。
作者利用 Claude Code 在一周内搭建了名为 Newsroom of One 的多智能体系统，由 16 个 Claude Sonnet 研究员和 1 个 Claude Opus 编辑协作，每周自动研读约 420 篇网页并筛选生成一小时定制双主播播客。
推薦理由：原文详细展示了多智能体主编与研究员分工、沙箱防提示词注入隔离以及纠音机制，为搭建自动化内参和播客提供了可迁移的工程参考。
Google 联合 Red Hat、IBM 等机构在 PyTorch 大会上正式发布云原生分布式大模型推理栈 llm-d 1.0，作为 CNCF 沙箱项目开源。
推薦理由：针对智能体长上下文与多轮爆发式流量，该项目将缓存感知路由与预填充解码分离引入云原生调度，为自建推理集群提供了成熟参考。
OpenRMM 是一款开源且支持自托管的远程监控与管理（RMM）系统，内置支持任意 OpenAI 兼容端点的 AI 助手。系统采用人机审批与工具调用设计，AI 仅负责根据自然语言检查设备状态并提议脚本，所有终端操作必须经由管理员审批后方可执行。该项目提供基于 Go 的单二进制跨平台客户端、原生可插拔远程访问、只追加审计日志以及 MCP 服务器，遵循 AGPL-3.0 协议开源。
推薦理由：采用 AI 检查提议、人工最终确认与本地模型私有部署架构，为运维安全与终端自动化结合提供了参考实践。
PyTorch 2.15 对苹果芯片的 MPS 后端进行重构，新增 FP8 数据类型支持，并通过专用 Metal 算子替代 MPSGraph 大幅优化大语言模型解码与多模态负载。
推薦理由：原文详细展示了通过专用 Metal 算子替代图编译器来解决苹果芯片显存暴涨与算力瓶颈的具体路径，可供端侧优化参考。
Amazon 宣布将开源 TorchNeuron 库，允许开发者无需重写现有 PyTorch 代码，仅需更改单一配置即可原生运行在 AWS Trainium 芯片上。
推薦理由：该项目消除了迁移至自研芯片的代码重写成本，为使用主流框架的开发者提供了评估替代硬件的具体路径。