本文へスキップ

推論能力

模型推理能力的进展：思维链、推理模型、数学与逻辑基准的突破与争议。

465件の厳選関連トピック论文研究模型发布Agent 智能体

最新の厳選

381〜400 件目 · 全 465 件
9月30日水
  1. Cerebras 官方博客（网页）66

    Cerebras 详解 CS-4 机架架构并公布 CS-5 与 CS-6 路线图中国語

    Cerebras 在 HOT CHIPS 2026 上详细解析了基于 Nexus 机架平台的 CS-4 系统架构，并公布了 CS-5 与 CS-6 的技术演进路线。

    推薦理由：Cerebras 披露了 CS-4 机架级供电与散热架构细节，并展示了通过 3D 堆叠 DRAM 突破晶圆级内存瓶颈的技术演进路径。

  2. Cerebras 官方博客（网页）77

    Cerebras 如何实现 GPT-5.6 Sol 高达每秒 750 tokens 的高速推理中国語

    Cerebras 通过其 WSE-3 晶圆级芯片支持 OpenAI GPT-5.6 Sol 的 Ultrafast 模式，在不降低精度、不蒸馏且不改变权重的条件下实现了高达 750 output tokens/s 的推理速度。

    推薦理由：文章详细拆解了晶圆级芯片利用片上超大带宽 SRAM 消除显存墙以实现高速大模型推理的硬件架构与工程实现。

  4. Cerebras 官方博客（网页）68

    Cerebras 发布第四代 AI 系统 CS-4：推理速度最高达 GPU 的 30 倍并支持解耦架构中国語

    Cerebras 正式发布第四代 AI 加速系统 CS-4，搭载三颗 Wafer Scale Engine 3 Turbo 处理器并采用全新 Nexus 机柜架构，官方称其推理速度最高可达 GPU 系统的 30 倍。

    推薦理由：CS-4 将晶圆级算力与解耦推理结合，为十万亿参数超大模型的交互式生成提供了不同于传统集群的低延迟硬件方案。

  5. vLLM 官方博客（网页）69

    vLLM 优化 Qwen3.5 解耦推理：单 GPU 吞吐达 25K TPS中国語

    vLLM 团队公布了基于 GB200 NVL72 系统的 Qwen3.5-397B-A17B-NVFP4 解耦推理优化方案，实现单 GPU 总吞吐超过 25,000 TPS。

    推薦理由：原文展示了混合注意力架构模型在解耦推理下的状态传输与算子优化方案，读者可参考其配置配方提升大模型吞吐。

  6. vLLM 官方博客（网页）77

    vLLM 详解解码上下文并行 DCP：长上下文智能体推理吞吐提升 3 倍中国語

    vLLM 官方详解了解码上下文并行（DCP）机制，通过沿序列维度将 KV Cache 分片到多张 GPU，在长上下文智能体负载下实现相比标准张量并行 3 倍的吞吐提升。

    推薦理由：针对长上下文推理中多头及潜变量注意力导致的显存冗余，原文给出了按序列分片提升并发与吞吐的实现方案。

  7. vLLM 官方博客（网页）75

    vLLM 宣布首日支持 NVIDIA Nemotron 3.5 Lightning 模型推理中国語

    vLLM 宣布首日支持 NVIDIA Nemotron 3.5 Lightning 模型，提供兼容 OpenAI 的 API 接口及完整的高吞吐推理部署方案。该模型采用 30B 总参数、3B 激活参数的混合 MoE 架构，支持 100 万 token 上下文并提供 BF16 与 NVFP4 权重。

    推薦理由：文章提供了在多种硬件平台上利用投机解码加速运行该智能体模型的完整部署配置与调优方法。

  8. vLLM 官方博客（网页）79

    vLLM 宣布首日支持千问 Qwen3.8-2.4T-A95B 开源模型推理中国語

    vLLM 宣布首日支持千问 Qwen3.8-2.4T-A95B 开源模型，提供开箱即用的推理服务。该模型为 2.4T 参数的稀疏混合专家（MoE）架构，包含 512 个专家并采用全注意力与线性注意力的混合主干。除官方 FP8 和 BF16 权重外，vLLM 还支持 NVFP4 与 MXFP4 量化版本，可在单节点 NVIDIA B300 或 AMD MI355X 上完成高效推理。

    推薦理由：原文提供了超大混合专家模型的推理部署命令与多硬件算子优化细节，便于工程团队评估大模型服务资源。

  9. vLLM 官方博客（网页）69

    vLLM 在 AMD GPU 上的投机解码实践指南与性能实测中国語

    vLLM 官方发布在 AMD Instinct MI300X 与 MI355X GPU 上实现投机解码的实践指南与评测结果，系统评估了单次目标模型前向验证多个草稿 token 的加速效果。

    推薦理由：文章详细对比了五种投机解码机制在不同模型与负载下的吞吐表现，为大模型推理加速与参数调优提供了可迁移的工程参考。

  10. vLLM 官方博客（网页）72

    vLLM 引入 Hybrid HiSparse 混合稀疏卸载优化，支持 GLM 5.3 单机长上下文高并发推理中国語

    vLLM 针对 GLM 5.3 推出 Hybrid HiSparse 混合稀疏卸载优化机制，使单个 8× H200 节点即可运行 100 万全长上下文并显著提升并发能力。

    推薦理由：文章给出了混合稀疏卸载机制在单节点上的显存管理设计，为长上下文大模型推理的高并发部署提供了实用方案。

  11. vLLM 官方博客（网页）67

    vLLM 发布 Kimi K3 性能优化：端到端吞吐提升达 2.8 倍中国語

    vLLM 宣布针对 Kimi K3 模型完成全栈推理性能优化，在 B300 节点 8K/1K 负载下实现端到端吞吐提升 2.2–2.8 倍，TTFT 降低 72%–85%，平均延迟降低 56%–60%。

    推薦理由：原文给出了从自适应调度、KDA 检查点到 ReplaySSM 的全栈优化细节，读者可据此参考混合架构大模型推理加速方案。

  12. vLLM 官方博客（网页）69

    vLLM 团队基于 GB300 NVL72 与 Mooncake 训练 Kimi K3 的 DSpark 投机草稿模型中国語

    vLLM 团队通过 Speculators 训练库与 Mooncake 传输引擎，在 Verda 提供的 GB300 NVL72 机架上完成了 2.8T 参数 Kimi K3 模型的 DSpark 投机草稿模型训练与部署。

    推薦理由：原文给出了基于 Mooncake 跨节点传输隐藏状态训练超大模型投机草稿模型的完整拓扑，读者可直接参考其多机训练与部署配置。

  13. vLLM 官方博客（网页）65

    vLLM 详解 Qwen3.8-2.4T 的 PD 分离推理优化实践中国語

    vLLM 在 GB300 NVL72 集群上实现了千问 Qwen3.8-2.4T 的 Prefill-Decode（PD）分离式推理优化，在 8K/1K 负载下达成单 GPU 5000 token/s 吞吐量以及每用户 180 token/s 的交互速率。

    推薦理由：文章系统拆解了超大混合架构模型在显卡上的显存预算计算与拓扑选择，为超大规模模型落地分离式推理提供了可复用的调优方法论。

  14. vLLM 官方博客（网页）71

    vLLM 支持 Gumbel-max 无失真文本水印功能中国語

    vLLM 宣布支持基于 Gumbel-max 算法的无失真文本水印功能，在不改变模型原始输出分布的前提下实现文本来源溯源。

    推薦理由：官方详解了如何在高性能推理引擎中落地无失真文本水印，对兼顾生成质量、投机解码与吞吐性能有直接工程参考价值。

  15. vLLM 官方博客（网页）66

    深入解析 vLLM：高吞吐大语言模型推理系统的架构剖析中国語

    vLLM 官方博客发布技术长文深度剖析其 V1 推理引擎，系统拆解从单卡底层内核到大规模分布式服务的完整架构。文章详细解读了调度器运行机制、PagedAttention 内存分配与连续批处理流程，并深入探讨分块 Prefill、前缀缓存、基于有限状态机的引导解码、推测解码以及 Prefill/Decode 分离等高级特性。

    推薦理由：文章从单机引擎内核层层拆解到多节点分布式服务，为理解和优化高吞吐大模型推理系统提供了完整清晰的架构参考。

  16. Hacker News · AI60

    LabBench 湿实验决策评测发布：前沿 AI 智能体擅长数据解释但在实验设计上表现欠佳中国語

    Gamow Labs 推出基于真实药物研发与基因组学湿实验记录的评测基准 LabBench，用于评估 AI 智能体决定下一步实验的能力。在 20 项任务测试中，GPT-6 Astra（40.8%）与 Claude Opus 5.5（40.5%）平均通过率并列领先，但 Astra 中位耗时 5 分钟远快于 Opus 的 35 分钟。

    推薦理由：评测通过真实湿实验记录量化了模型在实验决策上的短板，为理解智能体在科研工作流中的能力边界提供了参考。

  17. AWS 机器学习74

    GPT-6.1 Sol 正式上线 Amazon Bedrock中国語

    GPT-6.1 Sol 已在 Amazon Bedrock 正式全面可用（GA），重点增强了智能体编码、计算机使用和多步骤日常工作流的推理能力。根据 OpenAI 评测数据，GPT-6.1 Sol 在 DeepSWE v1.1 上的表现媲美 GPT-6 Astra，而单任务成本仅约为后者的五分之一，得分比 GPT-6 Sol 高出 6.4 个百分点。

    推薦理由：原文介绍了模型上线云端托管后的性能与成本表现，企业读者可据此评估其在智能体工作流中的部署性价比。

  18. The Decoder86

    OpenAI 发布 GPT-6.1 Sol：以五分之一成本接近 Astra 性能中国語

    OpenAI 推出新模型 GPT-6.1 Sol，在旗舰模型 GPT-6.1 Astra 因安全顾虑延期之际，以约五分之一的成本提供接近后者的 Agent 编码与办公能力。

    推薦理由：在旗舰模型 Astra 因安全顾虑推迟发布的背景下，Sol 以更低成本提供接近的表现，便于开发者权衡 Agent 任务的落地性价比。

9月29日火
  1. Microsoft Research67

    Microsoft Research 发布生物学 AI 研究系统 Quine中国語

    Microsoft Research 推出生物学 AI 研究系统 Quine，由多模态生物学世界模型以及连接科研工具、文献与湿实验的交互框架组成。系统联合学习基因组、蛋白质、细胞状态及生物成像等跨尺度数据，以预测干预后的生物状态演变；在与 Broad Institute 合作的胰腺癌研究中，Quine 快速完成化合物筛选并在湿实验中验证了候选分子。

    推薦理由：原文展示了生物学世界模型与湿实验结合的闭环流程，读者可据此了解 AI 辅助跨模态生物学推理与药物筛选的具体范式。

  2. 量子位65

    至知创新研究院发布 IQuest-Q1 模型：320B 稀疏 MoE 架构主打复杂代码与工程排错中国語

    至知创新研究院（IQuest Research）发布 IQuest-Q1 模型，采用 Decoder-only 稀疏 MoE 架构，总参数约 320B、激活参数约 15B。

    推薦理由：原文介绍了 320B 总参数但仅激活 15B 的稀疏 MoE 模型，展示了其在复杂代码长程排错与交互生成任务中的实际表现。