SemiAnalysis:为什么 4 层堆叠 HBM 将成为 AI 推理芯片的最优解中国語
SemiAnalysis 分析指出,4 层堆叠(4-hi)HBM 在推理场景下能提供更优的单位带宽成本与更低的每 token 成本,正在打破盲目追求高层堆叠的行业趋势。
推薦理由:文章从带宽成本与机架级聚合内存变化切入,测算了堆叠高度降低对每 token 成本与供应链晶圆利用率的具体影响。
模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。
SemiAnalysis 分析指出,4 层堆叠(4-hi)HBM 在推理场景下能提供更优的单位带宽成本与更低的每 token 成本,正在打破盲目追求高层堆叠的行业趋势。
推薦理由:文章从带宽成本与机架级聚合内存变化切入,测算了堆叠高度降低对每 token 成本与供应链晶圆利用率的具体影响。
AI 推理芯片初创公司 d-Matrix 宣布与 Nvidia 达成合作,将其基于 3D-RAM 的下一代推理芯片 Raptor XPU 接入 Nvidia MGX 架构与 NVL144 液冷机架。
推薦理由:存算一体芯片通过接入主流机架与高速互连架构降低落地门槛,为高并发低延迟的生成式推理提供了机架级异构部署参考。
Sebastian Raschka 深入分析了 GPT-6 Astra 的综合表现、循环 Transformer(Looped Transformer)架构机制及隐藏思维链的技术争议。
推薦理由:文章系统拆解了循环 Transformer 的权重复用机制与算力权衡,帮助读者厘清模型深度扩展与思维链可监控性之间的技术关系。
OpenAI 推出面向企业工作场景的模型 GPT-6 Astra。该模型具备高级推理与计算机操作能力,并在写作表达与设计判断方面进行了提升。
推薦理由:原文介绍了面向工作场景的核心能力升级,读者可据此了解其在推理和计算机操作上的新定位。
HPE 在 2026 财年第三季度实现营收 122.1 亿美元,同比增长 33.7%,净利润达 15.1 亿美元,核心数据中心系统业务创下历史纪录。HPE 首席执行官 Antonio Neri 表示,客户为了加速部署 AI 并未因硬件涨价而缩减采购,当前 AI 服务器未交付积压订单达 68 亿美元。
推薦理由:原文通过财报数据和管理层访谈分析了硬件成本上涨下的采购行为,有助于了解企业在算力基础设施上的预算分配策略。
OpenAI 宣布分享一个由 AI 生成的纳维-斯托克斯千禧年大奖难题(Navier–Stokes Millennium Prize Problem)解法。该方案包含详细技术报告以及在交互式定理证明器 Lean 中的形式化证明。
推薦理由:OpenAI 分享了利用 AI 求解纳维斯托克斯千禧年大奖难题的研究方案,并提供了 Lean 形式化证明。
戴尔在 2027 财年 Q2 财报会上表示,到 2030 年 AI 将驱动 75% 的数据中心需求并新增 200 GW 电力负荷,其中推理 token 量预计增长 87 倍至 3,600 quadrillion。
推薦理由:原文披露了戴尔对数据中心电力负荷与推理工作负载演进的量化测算,有助于读者评估企业级智能体对算力基础设施的长期拉动。
Google DeepMind 推出 Gemini 3.8 Flash 与专用于网络安全的 Gemini 3.8 Flash Cyber 两款新模型,主打长程编程、智能体工作流与漏洞自动修复能力,保持与 3.7 Flash 相同的定价(输入 $0.75 / M tokens,输出 $3.75 / M tokens)。
推薦理由:原文给出了两款模型的基准数据与定价细节,开发者可以据此评估其在长程编码与安全防御场景中的落地可行性。
AllenAI 推出 BenchMIRT 评估方法,利用多维项目反应理论在单题层级审计 LLM 基准测试实际衡量的潜在能力,并开源了代码、数据与技术报告。该方法分析了 100 个大模型在 16 个基准中超过 34K 道题目的表现,独立分离出安全性和通用推理两大主维度,发现 BBQ 与 WMDP 等传统安全基准的得分受通用推理能力影响更显著。
推薦理由:该方法引入多维项目反应理论拆解评测题目实际测量的能力维度,有助于研究者诊断基准中的混杂信号并精简测试集。
腾讯混元团队推出 Hy4 preview 轻量量化版本,通过自研 Sherry 稀疏三值量化算法与 MIX-STQ1_0 逐层混合精度策略,将模型权重从接近 1.5TB 压缩至约 214GB。
推薦理由:原文详述了自研三值量化与混合精度策略,为超大参数模型在有限与异构硬件上的本地推理提供了可迁移的工程参考。
The Next Platform 深入拆解了 Google 与 Marvell 签署的定制芯片合作协议,指出 Google 通过采购履约可分批兑换 Marvell 认股权证,最终最高可持有其 6.3% 股权。
推薦理由:拆解了 Google 与 Marvell 芯片协议中的认股期权结构与定制硅片细节,有助于理解云厂商绑定供应链与平衡基建成本的财务机制。
IBM 正式发布首个密集解码器架构的推理大语言模型家族 Granite 4.2,推出 3B、8B 和 30B 三种尺寸,均基于 Apache 2.0 协议开源。
推薦理由:原文详述了异步 GRPO 与多阶段智能体强化学习的工程实现,为开源端侧及中等规模推理模型的训练提供了可复现的完整路径。
Cerebras 正式推出代号为 Nexus 的 CS-4 系统,搭载超频版 WSE-3 Turbo 晶圆级引擎,通过两倍供电与增强散热将芯片算力与吞吐提升至前代的 2 倍。
推薦理由:文章解析了 CS-4 如何通过超频 WSE-3 芯片与背包式解耦机架设计,在不更换底层晶圆制程的前提下实现单机吞吐与部署效率的翻倍。
智谱宣布 GLM-5.3 API 正式上线,模型权重将于下周五开源,调用定价与上一代 GLM-5.2 保持一致。该模型擅长复杂编码、防御性网络安全与长程任务,在 Artificial Analysis 综合智能指数中取得 60 分,与 Kimi K3 并列开源模型第一。
推薦理由:原文公布了评测表现、调用定价与开源时间表,开发者可以据此评估将该模型接入复杂编码或长程任务工作流的成本效益。
IBM Research 在 AppWorld 基准上评估了 ALTK-Evolve 记忆机制在 8 个模型上的表现,发现 Agent 记忆并非越多越好,必须根据模型能力校准注入剂量。
推薦理由:原文通过多模型实测给出记忆注入策略,为开发者在智能体记忆构建与推理成本控制之间提供了量化参考。
Google DeepMind 正式推出 Gemini 3.7 Flash,主打软件工程、知识工作和智能体工作流。新模型在 FrontierCode 1.1(43.6% vs 34.4%)和 DeepSWE v1.1(65.3% vs 49.0%)等编码与自动化测试中相比 3.6 Flash 显著提升,并强化了多步规划与工具调用能力。
推薦理由:该模型在软件工程与智能体基准上大幅超越前代,并以减半的调用成本降低复杂工作流的部署门槛。
深度求索发布 DeepSeek V4 Pro 正式版,已同步在 APP、网页端与 API 上线。新模型重点提升了 Agent 能力,API 原生支持 OpenAI Responses API 格式并适配 Codex,思考模式新增 low、high、max 三档强度控制。此外 API 推出峰谷定价机制,闲时价格为高峰时段的一半,新计费规则将于北京时间 2026 年 8 月 17 日 0 时生效。
推薦理由:原文介绍了模型在智能体能力上的增强以及分档思考强度与峰谷定价,有助于开发者评估接口迁移与调用成本。
Google Research 提出知识画像(knowledge profiling)分析框架与 WikiProfile 基准,指出前沿大语言模型的事实性瓶颈在于知识提取而非参数编码。
推薦理由:研究将大模型事实错误归因于提取而非编码瓶颈,为后训练与推理期事实检索优化提供了分析框架。
AMD 本周以未披露金额收购 AI 推理初创公司 Taalas,计划将其技术整合进加速器路线图并与 AMD Instinct GPU 打造系统级方案。Taalas 的核心架构是将模型权重硬编码进 ROM 电路并搭配大容量 SRAM 作为片上 KV cache,针对 Decode 阶段提供极低延迟与更高能效。
推薦理由:文章拆解了解耦推理架构下 GPU 负责 Prefill 与专用芯片负责 Decode 的性能差异,帮助理解大厂布局硬件收购的技术动因。
AMD 在 Advancing AI 活动中更新了算力市场预测,预计到 2030 年数据中心 AI 加速卡潜在市场规模将超过 1.4 万亿美元,2025 至 2030 年复合年增长率超 45%。
推薦理由:文章通过拆解算力市场预测数据,指出推理与智能体沙箱正推动数据中心芯片支出重心从模型训练加速卡向更广泛的计算节点转移。