vLLM 在 AMD GPU 上的投机解码实践指南与性能实测
vLLM 官方发布在 AMD Instinct MI300X 与 MI355X GPU 上实现投机解码的实践指南与评测结果，系统评估了单次目标模型前向验证多个草稿 token 的加速效果。
推荐理由：文章详细对比了五种投机解码机制在不同模型与负载下的吞吐表现，为大模型推理加速与参数调优提供了可迁移的工程参考。
推理能力
全部主题模型推理能力的进展：思维链、推理模型、数学与逻辑基准的突破与争议。
最新精选
第 61–80 条 · 共 131 条vLLM 官方博客（网页）精选AI 评分6969 vLLM 官方博客（网页）精选AI 评分7272 vLLM 引入 Hybrid HiSparse 混合稀疏卸载优化，支持 GLM 5.3 单机长上下文高并发推理
vLLM 针对 GLM 5.3 推出 Hybrid HiSparse 混合稀疏卸载优化机制，使单个 8× H200 节点即可运行 100 万全长上下文并显著提升并发能力。
推荐理由：文章给出了混合稀疏卸载机制在单节点上的显存管理设计，为长上下文大模型推理的高并发部署提供了实用方案。
vLLM 官方博客（网页）精选AI 评分6767 vLLM 发布 Kimi K3 性能优化：端到端吞吐提升达 2.8 倍
vLLM 宣布针对 Kimi K3 模型完成全栈推理性能优化，在 B300 节点 8K/1K 负载下实现端到端吞吐提升 2.2–2.8 倍，TTFT 降低 72%–85%，平均延迟降低 56%–60%。
推荐理由：原文给出了从自适应调度、KDA 检查点到 ReplaySSM 的全栈优化细节，读者可据此参考混合架构大模型推理加速方案。
vLLM 官方博客（网页）精选AI 评分6969 vLLM 团队基于 GB300 NVL72 与 Mooncake 训练 Kimi K3 的 DSpark 投机草稿模型
vLLM 团队通过 Speculators 训练库与 Mooncake 传输引擎，在 Verda 提供的 GB300 NVL72 机架上完成了 2.8T 参数 Kimi K3 模型的 DSpark 投机草稿模型训练与部署。
推荐理由：原文给出了基于 Mooncake 跨节点传输隐藏状态训练超大模型投机草稿模型的完整拓扑，读者可直接参考其多机训练与部署配置。
vLLM 官方博客（网页）精选AI 评分6565 vLLM 详解 Qwen3.8-2.4T 的 PD 分离推理优化实践
vLLM 在 GB300 NVL72 集群上实现了千问 Qwen3.8-2.4T 的 Prefill-Decode（PD）分离式推理优化，在 8K/1K 负载下达成单 GPU 5000 token/s 吞吐量以及每用户 180 token/s 的交互速率。
推荐理由：文章系统拆解了超大混合架构模型在显卡上的显存预算计算与拓扑选择，为超大规模模型落地分离式推理提供了可复用的调优方法论。
vLLM 官方博客（网页）精选AI 评分7171 vLLM 支持 Gumbel-max 无失真文本水印功能
vLLM 宣布支持基于 Gumbel-max 算法的无失真文本水印功能，在不改变模型原始输出分布的前提下实现文本来源溯源。
推荐理由：官方详解了如何在高性能推理引擎中落地无失真文本水印，对兼顾生成质量、投机解码与吞吐性能有直接工程参考价值。
vLLM 官方博客（网页）精选AI 评分6666 深入解析 vLLM：高吞吐大语言模型推理系统的架构剖析
vLLM 官方博客发布技术长文深度剖析其 V1 推理引擎，系统拆解从单卡底层内核到大规模分布式服务的完整架构。文章详细解读了调度器运行机制、PagedAttention 内存分配与连续批处理流程，并深入探讨分块 Prefill、前缀缓存、基于有限状态机的引导解码、推测解码以及 Prefill/Decode 分离等高级特性。
推荐理由：文章从单机引擎内核层层拆解到多节点分布式服务，为理解和优化高吞吐大模型推理系统提供了完整清晰的架构参考。
Hacker News · AI精选AI 评分6060 LabBench 湿实验决策评测发布：前沿 AI 智能体擅长数据解释但在实验设计上表现欠佳
Gamow Labs 推出基于真实药物研发与基因组学湿实验记录的评测基准 LabBench，用于评估 AI 智能体决定下一步实验的能力。在 20 项任务测试中，GPT-6 Astra（40.8%）与 Claude Opus 5.5（40.5%）平均通过率并列领先，但 Astra 中位耗时 5 分钟远快于 Opus 的 35 分钟。
推荐理由：评测通过真实湿实验记录量化了模型在实验决策上的短板，为理解智能体在科研工作流中的能力边界提供了参考。
AWS 机器学习精选AI 评分7474 GPT-6.1 Sol 正式上线 Amazon Bedrock
GPT-6.1 Sol 已在 Amazon Bedrock 正式全面可用（GA），重点增强了智能体编码、计算机使用和多步骤日常工作流的推理能力。根据 OpenAI 评测数据，GPT-6.1 Sol 在 DeepSWE v1.1 上的表现媲美 GPT-6 Astra，而单任务成本仅约为后者的五分之一，得分比 GPT-6 Sol 高出 6.4 个百分点。
推荐理由：原文介绍了模型上线云端托管后的性能与成本表现，企业读者可据此评估其在智能体工作流中的部署性价比。
The Decoder精选AI 评分8686 OpenAI 发布 GPT-6.1 Sol：以五分之一成本接近 Astra 性能
OpenAI 推出新模型 GPT-6.1 Sol，在旗舰模型 GPT-6.1 Astra 因安全顾虑延期之际，以约五分之一的成本提供接近后者的 Agent 编码与办公能力。
推荐理由：在旗舰模型 Astra 因安全顾虑推迟发布的背景下，Sol 以更低成本提供接近的表现，便于开发者权衡 Agent 任务的落地性价比。
Microsoft Research精选AI 评分6767 Microsoft Research 发布生物学 AI 研究系统 Quine
Microsoft Research 推出生物学 AI 研究系统 Quine，由多模态生物学世界模型以及连接科研工具、文献与湿实验的交互框架组成。系统联合学习基因组、蛋白质、细胞状态及生物成像等跨尺度数据，以预测干预后的生物状态演变；在与 Broad Institute 合作的胰腺癌研究中，Quine 快速完成化合物筛选并在湿实验中验证了候选分子。
推荐理由：原文展示了生物学世界模型与湿实验结合的闭环流程，读者可据此了解 AI 辅助跨模态生物学推理与药物筛选的具体范式。
Sebastian Raschka精选AI 评分7575 文本分类语言模型发展史：从词袋模型到通用决策模型 Jev
Sebastian Raschka 系统梳理了从传统词袋模型、RNN、CNN、BERT 到当前通用决策模型 Jev 的文本分类技术演化历程。实测显示 TypeSafe AI 推出的 Jev 在 IMDb 测试集上达到 96.47% 准确率，具备远低于大模型的推理延迟和调用成本，其核心优势来自高质量合成数据训练与面向决策校准的强化学习（RLCD）。
推荐理由：文章梳理了文本分类架构演进脉络，拆解了通用决策模型实现低延迟与概率校准的技术路径，适合作为分类与 Agent 路由优化的参考。
量子位精选AI 评分6565 至知创新研究院发布 IQuest-Q1 模型：320B 稀疏 MoE 架构主打复杂代码与工程排错
至知创新研究院（IQuest Research）发布 IQuest-Q1 模型，采用 Decoder-only 稀疏 MoE 架构，总参数约 320B、激活参数约 15B。
推荐理由：原文介绍了 320B 总参数但仅激活 15B 的稀疏 MoE 模型，展示了其在复杂代码长程排错与交互生成任务中的实际表现。
AWS 机器学习精选AI 评分6666 xAI Grok 4.7 正式上线 Amazon Bedrock
xAI 的 Grok 4.7 模型现已正式上线 Amazon Bedrock，提供 500K token 上下文窗口并支持 low、medium、high、xhigh 四档可调推理力度。该模型支持文本与图像输入，通过跨区域推理配置文件提供服务，同时兼容 OpenAI SDK 与 AWS Converse API，并集成了提示词缓存、Guardrails 和结构化输出等功能。
推荐理由：原文详细说明了 Grok 4.7 在 Bedrock 上的推理配置与 API 调用方式，读者可以据此评估长链路智能体与代码任务的接入成本。
Simon Willison精选AI 评分8181 Anthropic 发布 Claude Sonnet 5.5 并上线免费版
Anthropic 推出新模型 Claude Sonnet 5.5，运行速度提升超 30% 且多数任务成本降低最多达 30%，目前已作为 claude.ai 免费层的默认模型。作者实测显示其在部分编码任务上表现接近 Opus 5.5，但在最高思考强度下仍存在耗尽 128,000 tokens 的异常；此外官方宣布 Haiku 5.5 将在数周内推出。
推荐理由：原文展示了该模型下放至免费版后的实际性能与成本差异，有助于读者对比不同梯队前沿模型的编码能力。
Microsoft Research精选AI 评分6363 微软推出具身智能推理云边卸载方案并上线工具集
微软研究院针对物理具身智能（Physical AI）推出推理卸载方案与工具集，指出将 AI 推理从机器人板载 GPU 卸载至边缘或云端可显著突破算力瓶颈并延长续航。
推荐理由：原文系统量化了机器人端侧与云边协同推理的性能与能耗权衡，为具身智能系统的分布式算力架构设计提供了实测参考。
AI Roundup · X AI coding圈日报精选AI 评分8383 Anthropic 发布 Claude Opus 5.5，OpenAI 随后推出 GPT-6 Sol 与 Luna
Anthropic 正式推出 Claude Opus 5.5，约一小时后 OpenAI 也发布了 GPT-6 Sol 与 Luna，两家头部厂商同日打响价格战。
推荐理由：文章汇总了两大主流模型同日发布的定价对比与实测基准，有助于读者评估编码与智能体场景的实际落地成本。
Simon Willison精选AI 评分8888 Claude Opus 5.5 与 GPT-6 Sol、Luna 评测及新一轮价格战分析
Anthropic 与 OpenAI 分别推出 Claude Opus 5.5 以及 GPT-6 Sol 和 GPT-6 Luna，新模型价格大幅下调并引发了新一轮 API 定价竞争。
推荐理由：原文对比了新一代模型的价格梯度与实测表现，读者可以据此评估不同推理级别在应用开发中的成本与限制。
Hugging Face精选AI 评分6060 UK AISI 与 EvalEval 如何让基准评测结果具备可复现性
英国人工智能安全研究所（UK AISI）正式采用 EvalEval 基础设施公开基准评测结果，利用 Evaluation Cards 平台与统一的 EEE 规范提升评测的可复现性与透明度。
推荐理由：通过统一元数据和运行配置公开评测记录，为行业对比前沿模型评测差异提供了标准化的复现参考。
Simon Willison精选AI 评分7575 Simon Willison 解读 TypeSafe AI 新型决策模型 Jev 与系统一架构
TypeSafe AI 推出新型模型 Jev，主打输入非结构化文本并直接输出分类、评分与布尔判断等类型化浮点概率决策。该模型输出免费且输入价格为 $0.042 per M tokens，支持在上下文窗口内并行评估多个问题，适用于垃圾检测、标签推荐与搜索重排序等分类任务。Simon Willison 指出 Jev 带来了更彻底的黑盒特性与潜在偏见风险，当前社区已出现开源权重复现项目及评测基准。
推荐理由：原文详细拆解了仅输出类型化浮点概率的决策模型机制与定价特点，有助于读者理解分类与重排序场景下降低成本的新架构路径。