vLLM 优化 Qwen3.5 解耦推理：单 GPU 吞吐达 25K TPSChinese
vLLM 团队公布了基于 GB200 NVL72 系统的 Qwen3.5-397B-A17B-NVFP4 解耦推理优化方案，实现单 GPU 总吞吐超过 25,000 TPS。
Why it matters: 原文展示了混合注意力架构模型在解耦推理下的状态传输与算子优化方案，读者可参考其配置配方提升大模型吞吐。
Tutorials
All topics拿来就能用的实操内容：提示词技巧、工作流搭建、工具用法与踩坑经验。
Latest selected
321–340 of 372vLLM 官方博客（网页）SelectedAI score6969 vLLM 官方博客（网页）SelectedAI score6969 vLLM 在 AMD GPU 上的投机解码实践指南与性能实测Chinese
vLLM 官方发布在 AMD Instinct MI300X 与 MI355X GPU 上实现投机解码的实践指南与评测结果，系统评估了单次目标模型前向验证多个草稿 token 的加速效果。
Why it matters: 文章详细对比了五种投机解码机制在不同模型与负载下的吞吐表现，为大模型推理加速与参数调优提供了可迁移的工程参考。
vLLM 官方博客（网页）SelectedAI score6969 vLLM 团队基于 GB300 NVL72 与 Mooncake 训练 Kimi K3 的 DSpark 投机草稿模型Chinese
vLLM 团队通过 Speculators 训练库与 Mooncake 传输引擎，在 Verda 提供的 GB300 NVL72 机架上完成了 2.8T 参数 Kimi K3 模型的 DSpark 投机草稿模型训练与部署。
Why it matters: 原文给出了基于 Mooncake 跨节点传输隐藏状态训练超大模型投机草稿模型的完整拓扑，读者可直接参考其多机训练与部署配置。
vLLM 官方博客（网页）SelectedAI score6565 vLLM 详解 Qwen3.8-2.4T 的 PD 分离推理优化实践Chinese
vLLM 在 GB300 NVL72 集群上实现了千问 Qwen3.8-2.4T 的 Prefill-Decode（PD）分离式推理优化，在 8K/1K 负载下达成单 GPU 5000 token/s 吞吐量以及每用户 180 token/s 的交互速率。
Why it matters: 文章系统拆解了超大混合架构模型在显卡上的显存预算计算与拓扑选择，为超大规模模型落地分离式推理提供了可复用的调优方法论。
vLLM 官方博客（网页）SelectedAI score6666 深入解析 vLLM：高吞吐大语言模型推理系统的架构剖析Chinese
vLLM 官方博客发布技术长文深度剖析其 V1 推理引擎，系统拆解从单卡底层内核到大规模分布式服务的完整架构。文章详细解读了调度器运行机制、PagedAttention 内存分配与连续批处理流程，并深入探讨分块 Prefill、前缀缓存、基于有限状态机的引导解码、推测解码以及 Prefill/Decode 分离等高级特性。
Why it matters: 文章从单机引擎内核层层拆解到多节点分布式服务，为理解和优化高吞吐大模型推理系统提供了完整清晰的架构参考。
Google Developers · AI 筛选SelectedAI score6565 Google 详解如何构建面向意图判断的零信任 AI Agent 运行时安全体系Chinese
Google 发布零信任 AI Agent 系列第二篇指南，介绍如何将安全边界从代码级检查迁移至平台运行时治理。方案通过 Model Armor 在边缘拦截提示词注入与敏感数据，利用基于大模型的语义治理策略（Semantic Governance Policies）在工具调用前校验业务意图，并通过 Agent 异常检测捕获多轮会话攻击并实现无须重构代码的闭环修复。
Why it matters: 原文给出了结合边缘过滤语义治理与多轮异常检测的 Agent 运行时防护架构读者可直接参考开源示例提升系统的安全性。
Google Developers · AI 筛选SelectedAI score6363 Google 基于 MaxText 与 TPU 完整复现 Olmo 3 7B 预训练流程Chinese
Google 团队使用基于 JAX 的 MaxText 框架与 Cloud TPU，从头完整复现了 Ai2 的 Olmo 3 7B 第一阶段约 5.9T token 预训练与第二阶段 mid-training 退火训练。
Why it matters: 原文系统复盘了在 TPU 上复现 PyTorch 大模型预训练的工程细节与性能调优，读者可据此参考跨框架对齐与断点续训的验证方法。
Sebastian RaschkaSelectedAI score7171 文本分类语言模型演进史：从词袋模型到 JevChinese
Sebastian Raschka 撰文梳理了从传统词袋模型、CNN、RNN 到 Transformer 与现代通用分类模型的技术发展脉络。文章重点分析了 TypeSafe AI 推出的 Jev 模型，实测显示其在 IMDb 数据集上达到 96.47% 的准确率且推理延迟与成本极低。
Why it matters: 文章梳理了文本分类从词袋模型到现代语言模型的技术演进，深入解析了通用分类模型的设计思路与置信度校准机制。
GitHub Blog · AI 与安全SelectedAI score7474 GitHub 团队分享如何用开源 AI 安全智能体挖掘 24 个 Android 漏洞Chinese
GitHub Security Lab 介绍了利用开源 Taskflow Agent 审计 Android 应用并挖掘出 24 个漏洞的实践方法与案例。研究人员通过拆分识别入口点与定向排查漏洞两类 YAML 提示词工作流，成功发现了 OsmAnd 隐私追踪和维基百科应用账户接管等高危漏洞。
Why it matters: 文章分享了利用分步任务流引导大模型挖掘移动端漏洞的实操流程，并客观指出了模型评估漏洞严重性时的局限。
LangChain 官方博客SelectedAI score6868 结合 Jev 与 LangGraph 构建生产级 AI 智能体Chinese
LangChain 介绍了结合 TypeSafe AI 的决策模型 Jev 与 LangGraph 编排框架构建生产级 AI 智能体的方案，提倡由代码掌控工作流、由轻量模型负责局部结构化决策。
Why it matters: 文章详细拆解了决策模型与编排框架的配合方式，展示了将结构化决策与前沿生成解耦的具体工程路径。
GitHub Blog · AI 与安全SelectedAI score7070 GitHub Copilot 教程：如何使用画布构建自定义工作流Chinese
GitHub Copilot 现支持通过 /create-canvas 技能利用自然语言描述直接生成双向交互画布，用于搭建看板、Issue 分流板或发布清单等工作流界面。用户与 AI 智能体可以实时共享并修改画布状态，无需手动编写布局代码即可同步更新数据。生成的画布支持保存为扩展在团队内复用，社区也已在 Awesome Copilot 中提供了一系列开箱即用的预设模板。
Why it matters: 文章介绍了用自然语言生成双向交互界面的方法，开发者可据此将单向命令交互改造为可实时协同的看板工作流。
SemiAnalysis · 算力产业SelectedAI score6868 SemiAnalysis 详解 MoE 推理架构中的计算与数据搬运机制Chinese
SemiAnalysis 发布长文，深入剖析了前沿 MoE 模型在集群推理中的计算与数据搬运瓶颈及系统级架构设计。
Why it matters: 文章系统拆解了前沿 MoE 模型推理在四种阶段下的算力与带宽瓶颈，为长上下文及智能体场景的集群架构设计提供了底层依据。
LangChain 官方博客SelectedAI score6363 Included Health 如何基于 LangGraph 与 Deep Agents 构建医疗多智能体系统Chinese
Included Health 基于 LangGraph 和 Deep Agents 构建了名为 Dot 的联邦多智能体医疗导航系统，替代传统硬编码决策树来处理复杂的医疗与医保咨询。
Why it matters: 展示了医疗等高敏场景如何通过超级图与技能注册表解耦多团队智能体，并利用持久化人机协作兼顾安全性与一致性。
LangChain 官方博客SelectedAI score8080 LangChain 如何构建付费投放智能体 Paid Media AgentChinese
LangChain 开源并解析了其内部付费投放智能体 Paid Media Agent 的架构设计，展示如何利用智能体自动化处理多渠道广告分析与投放决策。团队将计算任务剥离至 Python 代码并采用沙盒微虚拟机环境，把上下文分层为通用技能、公司 Wiki 与动态工具，使单次分析运行时间从 18 分钟缩短至 85 秒。
Why it matters: 文章拆解了将计算移入代码、上下文分层与按需检索工具的具体架构，为企业复杂业务智能体的工程落地提供了可复用范式。
LangChain 官方博客SelectedAI score6565 LangChain 如何构建内部 GTM 智能体Chinese
LangChain 详细分享了其内部 GTM 智能体的架构与落地成果，该系统端到端处理线索调研与邮件草拟，使转化率提升 250% 并为人均每月节省 40 小时。
Why it matters: 原文详细拆解了业务智能体的记忆学习循环与多子智能体并行编排方案，为长流程自动化提供了可落地的工程参考。
OpenAI 官方动态SelectedAI score6767 OpenAI 解析如何扩展在线存储以服务超 10 亿 ChatGPT 用户Chinese
OpenAI 阐述了其存储平台 Habitat 如何从最初的 Python 库演进为全球分布式存储平台。该架构目前用于支撑 10 亿 ChatGPT 用户，并能处理每秒 2200 万次请求。
Why it matters: 原文展示了支撑十亿级用户与千万级并发的底层存储演进路径，具有工程架构参考价值。
Hugging FaceSelectedAI score7070 Hugging Face 展示基于 Storage Bucket 与代理的跨节点 LoRA 异步 GRPO 训练实践Chinese
Hugging Face 在 TRL v1.14 中为 AsyncGRPOTrainer 增加了 LoRA 适配器同步支持，使训练节点与 vLLM 推理副本无需跨机 NCCL 即可跨节点独立运行。
Why it matters: 原文展示了无需 NCCL 跨机通信的异步 GRPO 架构实现与调优细节，读者可据此排查强化学习训练与推理流水线的吞吐瓶颈。
Sebastian RaschkaSelectedAI score7070 GPT-6 Astra、循环 Transformer 架构与隐藏推理链解析Chinese
Sebastian Raschka 深入分析了 GPT-6 Astra 的综合表现、循环 Transformer（Looped Transformer）架构机制及隐藏思维链的技术争议。
Why it matters: 文章系统拆解了循环 Transformer 的权重复用机制与算力权衡，帮助读者厘清模型深度扩展与思维链可监控性之间的技术关系。
Hugging FaceSelectedAI score6666 利用 TRL 进行 100 步 GRPO 微调提升 350M 模型结构化输出能力Chinese
Hugging Face 发布实践指南，展示在免费 GPU 上使用 TRL 库对 LFM2.5-350M 模型进行 100 步 GRPO 微调，将其在 IFStruct 基准上的得分从 22.6% 提升至 29.7%。
Why it matters: 教程展示了仅用百步轻量强化学习提升端侧模型格式遵循的可行路径，为低成本专用小模型调优提供了落地参考。
Hugging FaceSelectedAI score7272 基于 TRL 与 OpenEnv 训练代码模型绘制水彩画的开源实践Chinese
Hugging Face 工程师开源了基于 TRL 与 OpenEnv 的强化学习训练管线，复现了通过代码生成水彩画的方法。该方案采用 Qwen3.5-35B-A3B 编写约 150 行 p5.brush 的 JavaScript 代码，结合 HPSv3 美学评分模型与 Qwen3-VL 成对评判器构建主观审美奖励函数，利用 GRPO 强化学习引导模型对齐特定绘画风格。
Why it matters: 原文完整开源了用强化学习引导代码模型绘制水彩画的工程管线，展示了如何将人工审美偏好构建为成对比较的奖励函数。