把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
Meta 详细介绍了 WhatsApp 正在测试的防诈预警功能 Scam Alert 的技术架构。该功能完全在端侧运行轻量机器学习模型以识别潜在诈骗消息，所有消息内容均不出设备且不进行自动上报。系统通过基于 TEE 的机密联邦分析管道收集带差分隐私噪声的聚合指标，并借助第三方透明账本与 OHTTP 中继确保模型下发与分析流程公开可验证且无法针对特定用户定向投递。
推薦理由：文章详细公开了如何在端到端加密场景下结合端侧模型与机密计算构建兼顾隐私与可验证性的系统方案。
NVIDIA 发布面向常驻 AI 智能体工作流的开源模型 Nemotron 3.5 Lightning，以及用于动态调度多模型的 NeMo Switchyard 路由库。
推薦理由：原文对比了新模型与前代规格的性能和延迟差异，并展示了如何通过配套路由库在复杂智能体工作流中平衡成本与响应速度。
NVIDIA 推出 364M 参数的开源多语言文本转语音模型 Magpie TTS Multilingual，开放模型权重并提供生产就绪的 NIM 推理微服务。
推薦理由：模型开源权重并提供生产级推理微服务，帮助开发者在私有基础设施上自控语音延迟预算与定制发音。
Arista Networks 在 2026 年第二季度营收同比增长 37.7% 至 30.4 亿美元，单季销售额首次突破 30 亿美元，并将 2026 全年营收指引上调至 126 亿美元。
推薦理由：原文梳理了网络设备商在跨数据中心、跨节点与芯片级三类 AI 网络中的营收分布和演进路径，便于读者理解智算网络市场格局。
AMD 本周以未披露金额收购 AI 推理初创公司 Taalas，计划将其技术整合进加速器路线图并与 AMD Instinct GPU 打造系统级方案。Taalas 的核心架构是将模型权重硬编码进 ROM 电路并搭配大容量 SRAM 作为片上 KV cache，针对 Decode 阶段提供极低延迟与更高能效。
推薦理由：文章拆解了解耦推理架构下 GPU 负责 Prefill 与专用芯片负责 Decode 的性能差异，帮助理解大厂布局硬件收购的技术动因。
AWS 宣布在 Amazon Bedrock AgentCore Runtime 中推出 Runtime instances，为生产环境中的复杂 AI 智能体提供全托管的持久计算基础设施。
推薦理由：该功能通过托管 EC2 基础设施支持长达 14 天的会话持久化与 GPU 加速，开发者可直接基于共享文件系统构建多智能体协作。
AWS 团队开源了 Smart Job Navigator 解决方案，用于在 EC2 Spot 实例上稳定运行紧耦合 HPC 仿真及机器学习训练任务。该方案基于 Slurm 调度器与 AWS Spot Placement Score API，能自动捕获 Spot 中断并跨多可用区队列智能重新提交检查点作业。
推薦理由：该方案通过检查点与智能队列调度在 Spot 实例上恢复紧耦合作业，读者可参考其架构降低大规模算力训练与仿真成本。
AMD 展示了其面向 AI 基础设施的软硬件演进路线图，涵盖台积电 2nm 工艺的 Zen 6 Venice 处理器、搭载 432GB HBM4 的 Instinct MI455X GPU 以及双宽 Helios 机架级系统。
推薦理由：文章拆解了从 Zen 6 处理器到 MI400 系列 GPU 及机架系统的规划，有助于评估其在智算基建领域的架构演进。
月之暗面正式发布 Kimi K3 模型权重及技术报告，并同步开源支撑其训练的关键基础设施 MoonEP、FlashKDA 和 AgentEnv。Kimi K3 为拥有 2.8 万亿参数的 MoE 模型，支持原生视觉理解与 100 万 token 上下文窗口，每 token 从 896 个专家中激活 16 个。
推薦理由：月之暗面不仅开放了长上下文与原生视觉模型权重，还配套开源了专家并行通信库与算子等训练基建。
Hugging Face Diffusers 正式集成基于 SVDQuant 的 Nunchaku 4-bit（W4A4/AWQ）量化推理，支持直接通过 from_pretrained() 加载量化模型。
推薦理由：原文给出了 W4A4 量化在 Diffusers 框架下的显存与延迟实测数据，读者可以据此评估扩散模型在消费级显卡上的量化部署收益。
微软与 AMD 达成大规模 AI 系统合作，将在 Azure 云部署基于 AMD Helios 机架设计的计算集群，专门用于运行前沿模型的推理任务。
推薦理由：原文披露了微软采购 AMD 算力机架的具体架构规格，读者可据此了解大厂前沿推理集群的硬件选型与互连方案。
通义实验室发布实时双工全模态交互模型 Wan-Streamer v0.2，端到端响应延迟约 550ms，输出视频分辨率提升至 640×368 @ 25FPS。模型将传统流水线重构为基于 160ms 流式单元的原生因果流，并采用单卡 Thinker 与多卡 Performer 双通路硬件解耦与 Ulysses 序列并行机制，实现低延迟感知与重载视频生成的时序重叠。
推薦理由：原文给出了双通路硬件解耦与时序重叠调度方案，展示了在大幅提升视频分辨率时维持超低交互延迟的具体工程路径。
台积电在截至6月的季度创下402亿美元营收新高，净利润达223.7亿美元，机构测算其制造的AI训练与推理芯片贡献约133.1亿美元，占总营收约三分之一。台积电同时宣布在亚利桑那州追加1000亿美元投资增建四座聚焦2nm及以下制程的晶圆厂，使在美总投资升至2650亿美元，并将资本支出指引上调至600亿至640亿美元。
推薦理由：台积电财报数据与产能规划展现了AI芯片需求对代工产值的实际拉动，为判断硬件开支与供应链瓶颈提供了关键锚点。
MIT 航空航天系举办 JARVIS 挑战赛，组织 31 名本科生在 4 周内借助生成式 AI 探索设计、制造与测试推力 50–100 磅的小型喷气发动机。各团队通过 MIT Parley 平台调用前沿大语言模型加速了文献查阅、软件学习和架构比选，但模型幻觉、缺乏物理直觉以及供应链制造延迟成为主要制约。
推薦理由：实测记录了学生借助大模型设计喷气发动机的过程，揭示了 AI 辅助复杂硬件工程时的提效空间与物理制造瓶颈。
Hugging Face 发布 PyTorch 性能分析系列第三篇，对比分析了手写原生注意力机制、In-place 掩码以及 SDPA 旗下四种后端（math、efficient、flash、cuDNN）在 GPU 上的算子特征与执行开销。
推薦理由：文章拆解了 PyTorch 中不同 Attention 后端的底层算子行为与显存交互，展示了如何通过性能分析轨迹定位非预期开销。
Hugging Face 升级了 vLLM 的 transformers 建模后端，使其在多类大语言模型架构上的推理吞吐量追平甚至超越 vLLM 手写原生实现。
推薦理由：关注大模型推理部署的开发者可以了解该后端如何免去为推理框架单独手写优化实现的繁琐流程。
Hugging Face 与微软合作在 Microsoft Foundry 中推出 Hugging Face Collection，支持在托管 GPU 平台 Foundry Managed Compute 上一键部署开源权重模型。
推薦理由：原文给出了预置权重、多引擎托管与统一安全治理的落地架构，读者可以据此评估企业私有化部署开源模型与智能体集成的工程链路。
SkyPilot 与 Hugging Face 联合支持将 Hugging Face Storage 作为一级存储后端，允许通过统一的 hf:// 路径将 Hub 仓库或 Buckets 挂载至跨 20 多个云厂商、Kubernetes 及本地集群的计算任务中。
推薦理由：原文解析了跨云调度 AI 任务时消除出站流量成本的集成方案，读者可据此优化多云算力下的模型挂载与数据同步链路。
Hugging Face 宣布对 🤗 Kernels 项目进行全面重构与更新，在 Hub 上正式推出了全新的 kernel 仓库类型。新版本引入了受信任发布者机制与基于 Sigstore cosign 的临时私钥代码签名，并将加载工具 kernels 与构建工具 kernel-builder 的 CLI 彻底解耦。
推薦理由：通过统一内核仓库类型并结合代码签名与受信任发布机制，为底层算力优化与智能体生成内核提供了标准化的安全分发底座。
Sebastian Raschka 撰文介绍了利用 Ollama 与开源权重模型搭建全本地 Coding Agent 的完整方案。
推薦理由：文章拆解了本地大模型与编码 Agent 框架的搭配方案，提供了可复用的安全审计提示词与基准评测脚本。