PyTorch 性能分析教程第三篇：解读各种 Attention 实现的 Profiler 轨迹与优化细节
Hugging Face 发布 PyTorch 性能分析系列第三篇，对比分析了手写原生注意力机制、In-place 掩码以及 SDPA 旗下四种后端（math、efficient、flash、cuDNN）在 GPU 上的算子特征与执行开销。
推荐理由：文章拆解了 PyTorch 中不同 Attention 后端的底层算子行为与显存交互，展示了如何通过性能分析轨迹定位非预期开销。
部署工程
全部主题把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
最新精选
第 381–398 条 · 共 398 条Hugging Face精选AI 评分6666
Hugging Face精选AI 评分7676 Hugging Face 推出 vLLM transformers 原生速度建模后端
Hugging Face 升级了 vLLM 的 transformers 建模后端，使其在多类大语言模型架构上的推理吞吐量追平甚至超越 vLLM 手写原生实现。
推荐理由：关注大模型推理部署的开发者可以了解该后端如何免去为推理框架单独手写优化实现的繁琐流程。
Hugging Face精选AI 评分7070 Hugging Face 携手微软在 Foundry Managed Compute 上线开源模型托管服务
Hugging Face 与微软合作在 Microsoft Foundry 中推出 Hugging Face Collection，支持在托管 GPU 平台 Foundry Managed Compute 上一键部署开源权重模型。
推荐理由：原文给出了预置权重、多引擎托管与统一安全治理的落地架构，读者可以据此评估企业私有化部署开源模型与智能体集成的工程链路。
Hugging Face精选AI 评分7575 SkyPilot 支持 Hugging Face 存储后端：免出站流量费跨云调度 AI 任务
SkyPilot 与 Hugging Face 联合支持将 Hugging Face Storage 作为一级存储后端，允许通过统一的 hf:// 路径将 Hub 仓库或 Buckets 挂载至跨 20 多个云厂商、Kubernetes 及本地集群的计算任务中。
推荐理由：原文解析了跨云调度 AI 任务时消除出站流量成本的集成方案，读者可据此优化多云算力下的模型挂载与数据同步链路。
Hugging Face精选AI 评分7070 Hugging Face Kernels 迎来重大更新：上线内核仓库类型并支持智能体内核开发
Hugging Face 宣布对 🤗 Kernels 项目进行全面重构与更新，在 Hub 上正式推出了全新的 kernel 仓库类型。新版本引入了受信任发布者机制与基于 Sigstore cosign 的临时私钥代码签名，并将加载工具 kernels 与构建工具 kernel-builder 的 CLI 彻底解耦。
推荐理由：通过统一内核仓库类型并结合代码签名与受信任发布机制，为底层算力优化与智能体生成内核提供了标准化的安全分发底座。
Sebastian Raschka精选AI 评分8080 如何搭建与评测本地 Coding Agent 技术栈
Sebastian Raschka 撰文介绍了利用 Ollama 与开源权重模型搭建全本地 Coding Agent 的完整方案。
推荐理由：文章拆解了本地大模型与编码 Agent 框架的搭配方案，提供了可复用的安全审计提示词与基准评测脚本。
Kubernetes Blog精选AI 评分6161 Kubernetes 设备管理工作组专访：DRA 如何重塑 AI 算力与硬件调度
Kubernetes 官方博客专访设备管理工作组三位联合主席，详解动态资源分配（DRA）毕业至 GA 后的架构演进与 AI 硬件调度实践。DRA 通过 ResourceSlice 与 ResourceClaim 声明式 API 替代了传统设备插件的粗粒度整数分配，支持 GPU 拓扑感知、MIG 切分及平台介导的动态容量共享。
推荐理由：工作组核心成员深入剖析了 DRA 如何替代传统设备插件，为 AI 负载提供细粒度拓扑感知与动态共享调度能力。
The Next Platform精选AI 评分6868 HPE 借智能体 AI 浪潮推动企业推理算力回迁本地数据中心
HPE 将自身支持平台迁移至基于 GreenLake Intelligence 与 Private Cloud AI 的本地基础设施，将运行成本降低 30 倍以上并月省近 10 万美元。
推荐理由：原文通过实际成本数据揭示了智能体高频交互带来的开销问题，为评估生产级 AI 推理回迁本地数据中心提供了经济性依据。
通义实验室 公众号精选AI 评分6666 通义实验室详解 MNN 适配 Arm SME2：Qwen3-VL-4B 端侧 Prefill 提速 81%
通义实验室发布基于 MNN 推理引擎适配 Arm SME2 指令集的端侧大模型部署教程，提供了 Qwen3-VL-4B-Instruct 在 Android 旗舰手机上的完整落地流程。
推荐理由：文章给出了从 MNN 编译到 APK 构建的完整端侧落地流程，读者可据此复现 SME2 指令集对视觉语言模型的加速效果。
智谱 公众号精选AI 评分7373 智谱推出 GLM-5.1 高速版 API，输出速度达 400 tokens/s
智谱联合 TileRT 团队推出 GLM-5.1 高速版 API（GLM-5.1-highspeed），输出速度达 400 tokens/s，在完整保留旗舰模型能力的同时实现低延迟。
推荐理由：智谱通过底层推理引擎重构将旗舰模型输出速度提升至400 tokens/s，为高频交互与长程编码场景提供了极低延迟的落地路径。
Sebastian Raschka精选AI 评分6565 大语言模型架构最新进展：KV 共享、mHC 与压缩注意力
Sebastian Raschka 梳理了解读近期开源大语言模型在长上下文效率上的核心架构演进。文章重点分析了 Gemma 4 的跨层 KV 共享与分层嵌入（PLE）、Laguna XS.2 的逐层注意力预算、ZAYA1-8B 的压缩卷积注意力（CCA），以及 DeepSeek V4 采用的流形约束超连接（mHC）与 CSA/HCA 混合压缩注意力。
推荐理由：原文系统梳理了主流开源大模型在长上下文下的架构改进，读者可据此理解降低 KV 缓存与计算开销的设计取舍。
Kubernetes Blog精选AI 评分7474 Kubernetes v1.36 演进工作负载感知调度
Kubernetes v1.36 升级工作负载感知调度架构，将 Workload API 拆分为静态模板与管理运行时状态的 PodGroup API，并为 kube-scheduler 增加原子化 PodGroup 调度周期以支持成组调度（gang scheduling）。
推荐理由：原生拆分静态模板与运行时分组状态，并联合调度周期与抢占机制，使分布式训练等紧耦合任务摆脱了复杂外挂调度系统的依赖。
Kubernetes Blog精选AI 评分7171 Kubernetes v1.36 升级动态资源分配 DRA
Kubernetes 在 v1.36 版本中推进动态资源分配（DRA）架构升级，使设备优先级回退列表功能进入稳定版，并新增对大规模工作负载共享 ResourceClaim 的支持。该版本还将可分区设备、设备污点、绑定条件与健康状态暴露等特性推进至 Beta，同时在 Alpha 阶段支持使用 DRA 统一管理 CPU 和内存等节点资源，并规范了容器内设备元数据的标准发现协议。
推荐理由：原文展示了 DRA 从专用加速器扩展到通用算力与工作负载级调度的演进细节，为 AI 集群资源管理与平滑迁移提供了落地参考。
Kubernetes Blog精选AI 评分6565 Kubernetes v1.36 引入 Pod 级资源管理器 Alpha 特性
Kubernetes v1.36 引入 Pod 级资源管理器作为 Alpha 特性，将 kubelet 的拓扑、CPU 和内存管理器从单容器扩展至 Pod 级别。
推荐理由：该特性解决了机器学习等高性能场景下主容器与辅助容器共享资源的权衡难题，为混部调度提供了清晰的拓扑隔离路径。
Kubernetes Blog精选AI 评分6161 Kubernetes v1.36 支持挂起 Job 动态调整 Pod 资源进入 Beta 阶段
Kubernetes 在 v1.36 版本中将挂起 Job 的 Pod 资源修改功能推进至 Beta 阶段，并默认开启相关特性门控。
推荐理由：原文展示了调度器在不重建 Job 的前提下动态调整批量任务算力配置的方法，有助于优化大集群与机器学习训练的调度流。
Sebastian Raschka精选AI 评分6767 超越标准 LLM：盘点混合注意力、文本扩散与递归等新兴模型架构
文章盘点了超越传统自回归 Transformer 的四类新兴模型架构及其实践权衡。线性注意力混合架构（如 Qwen3-Next 与 Kimi Linear 的 Gated DeltaNet）通过结合全局注意力与线性层大幅缩减 KV cache 并支持超长上下文。
推荐理由：系统梳理了线性注意力混合、文本扩散及代码世界模型等非传统架构，为评估长文本效率与并行生成提供了清晰的权衡参照。
SemiAnalysis · 算力产业精选AI 评分8585 SemiAnalysis 深度剖析 NVIDIA Rubin CPX 加速器与机柜架构：专用硬件重塑解耦推理
NVIDIA 推出专为大模型推理 Prefill 阶段设计的 Rubin CPX 加速器及配套机柜架构，通过强化算力并降低显存带宽成本重塑解耦推理服务。
推荐理由：文章深入剖析了面向 Prefill 阶段的专用硬件架构与机柜设计，为评估大模型解耦推理与算力 TCO 提供了清晰的参考视角。
SemiAnalysis · 算力产业精选AI 评分7272 SemiAnalysis 深度解析 HBM 路线图与内存墙挑战
SemiAnalysis 梳理了 HBM 在 AI 加速器中的演进路径、制造工艺与供应链格局。报告指出，随着长上下文推理与强化学习需求激增，系统受限于显存带宽与容量瓶颈，推动英伟达等厂商向单卡 1TB HBM4E 演进；同时 TSV 与先进封装良率成为关键约束，JEDEC 放宽 775 微米堆叠高度推迟了混合键合的落地，促使产业通过 KVCache 卸载等分层内存架构缓解瓶颈。
推荐理由：报告系统梳理了从封装制造到模型推理各层级的 HBM 瓶颈与路线演进，适合读者理解 AI 硬件与模型协同扩展的物理制约。