跳到正文
9月30日 · 周三

#推理

今天9月30日周三
  1. Hacker News · AI61

    数学界发布 AI 生成数学成果的负责任发布倡议

    针对前沿实验室利用未公开模型生成数学成果的现状,研究团队基于 600 多份数学界反馈提出了 AI 生成数学成果的发布规范倡议。倡议要求 AI 实验室在公布成果时严格核查文献引用,公开模型名、提示词、思维链与算力成本,并尽可能输出形式化证明 artifacts。此外,倡议要求实验室提供资金支持学术界开展研讨会与消化理解工作,并呼吁向全球数学界提供公平的模型访问权限。

    推荐理由:针对 AI 实验室用闭源模型跑数学成果的现状,该倡议系统提出了文献引用、形式化证明与算力成本透明化的发布规范。

  2. Buzzing HN · 中文精选68

    开源快速决策模型 Jeff 发布,基于 Qwen3.5 单次前向推理延迟约 30ms

    开源决策模型 Jeff 正式发布,基于 Qwen3.5-0.8B/2B 与 Gemma 4 E2B 微调,支持单次前向推理直接输出校准概率,单次决策延迟低至 22 至 28 毫秒。

    推荐理由:原文展示了仅需单次前向推理的轻量级决策模型实现路径,为端侧与高并发场景下的极速分类与路由提供了低成本方案。

  3. AITNT · AI头条(网页)76

    北大团队完成庞加莱猜想Lean 4完整形式化验证

    北京大学AI for Math团队宣布独立完成庞加莱猜想在Lean 4中的完整形式化,将500多页专著转化为约320万行代码。该工作由开发者与学生借助商用大模型及智能体工作流协作完成,历时半个月、总花费不到3万美元,平均每行代码成本不足1美分。成果包含27203个Lean文件且无一处sorry标记,已同时通过Lean build与Comparator双重检验。

    推荐理由:该项目展示了多智能体协作完成复杂数学命题形式化的工程框架,为大模型落地严谨科学验证提供了成本与路径参考。

  4. Cerebras 官方博客(网页)74

    Cerebras 发布 GLM-4.7 迁移与调优指南

    Cerebras 上线智谱 GLM-4.7 推理支持并发布迁移指南,依托晶圆级集群实现最高 1500+ tokens/s 的输出速度。

    推荐理由:文章总结了 GLM-4.7 的行为特性与十条工程迁移规则,读者可以直接参考这些参数设置与 Prompt 技巧优化推理效率。

  5. Cerebras 官方博客(网页)89

    OpenAI 与 Cerebras 达成合作,将部署 750 MW 晶圆级系统推进高速推理

    OpenAI 与 Cerebras 签署多年期协议,计划从 2026 年开始分阶段部署 750 MW 的 Cerebras 晶圆级系统,用于为其客户提供低延迟 AI 推理服务。Cerebras 表示其系统运行大语言模型时的响应速度比 GPU 系统快高达 15 倍。OpenAI 称该合作旨在构建多样化的算力架构组合,为编码智能体和语音交互等实时应用提供更专用的低延迟硬件支持。

    推荐理由:该协议展现了头部大模型厂商为应对大规模推理延迟与吞吐需求,开始在传统 GPU 架构之外规模化引入晶圆级专用硬件方案。

  6. Cerebras 官方博客(网页)72

    Cerebras 发布 Codex Spark 编码实践指南

    Cerebras 介绍了在 WSE 硬件上以超过 1,200 tokens/s 运行的 GPT-5.3-Codex-Spark 最佳编程实践。指南建议将 Spark 作为高频交互的结对编程者而非异步委托代理,通过高频测试验证、多方案快速探索以及保持单会话专注来避免代码质量退化。同时推荐将 Git 和 Markdown 文件作为持久化外部记忆,配合权限沙箱与文档自动化维护机制以降低长上下文漂移。

    最新进展9月30日 10:25OpenAI与Cerebras合作推出GPT-5.3-Codex-Spark

    推荐理由:文章系统梳理了高吞吐推理下的实时结对编程方法,为开发者提供了从单任务循环到上下文管理的完整实践模式。

  7. Cerebras 官方博客(网页)82

    Cerebras CS-3 接入 AWS 数据中心,联合推出 Trainium 分离式推理架构

    Cerebras 宣布 AWS 正在其数据中心部署 Cerebras CS-3 系统,后续将通过 AWS Bedrock 提供开源大语言模型与 Amazon Nova 系列的高速推理服务。

    推荐理由:双方通过将Prefill与Decode解耦至不同硬件,为大吞吐量智能体编码等高速推理场景提供了新的软硬件协同方案。

  8. Cerebras 官方博客(网页)77

    Cerebras 实测 Karpathy 的 autoresearch:如何防止 AI 自主研究闭环失控与偏离目标

    Cerebras 针对 Karpathy 提出的 autoresearch 框架开展了 71 次实测,开源了 codex-autoresearch-harness 和 reap-expert-swap 工具,并总结了防止智能体自主实验偏离目标的工程实践。

    推荐理由:原文通过两组真实任务实测了自主研究智能体的边界,给出了约束环境漂移和控制算力开销的具体方案。

  9. Cerebras 官方博客(网页)64

    Cerebras:AI 竞争为何转向推理速度

    Cerebras 发文分析指出,前沿实验室的 AI 竞争焦点正从单纯提升模型智能转向极致推理速度,token 生成速率已直接决定模型迭代与软件构建效率。OpenAI 与 Anthropic 等头部厂商均已全面使用自身的高速编码模型来自举研发下一代模型和产品代码库,Anthropic 对 2.5 倍速版本的定价更是达到基础版的 6 倍。

    推荐理由:梳理了前沿大厂从卷模型智能转向卷推理速度的逻辑,有助于理解高吞吐推理对智能体研发与模型自举迭代的核心价值。

  10. Cerebras 官方博客(网页)72

    Cerebras 解读解耦推理:拆分 Prefill 与 Decode 重塑大模型推理架构

    Cerebras 阐述了大模型解耦推理架构,将算力密集的 Prefill 阶段与内存带宽受限的 Decode 阶段拆分至不同硬件独立运行。

    推荐理由:文章系统阐述了将大模型推理的 Prefill 与 Decode 阶段解耦运行的技术原理,展示了异构硬件协同提升吞吐与降低尾部延迟的路径。

  11. Cerebras 官方博客(网页)73

    Cerebras 探讨 MCP 与 CLI 之争:核心在于速度与执行基础设施

    针对 Perplexity 宣布从 MCP 回退至 API 和 CLI 引发的争议,Cerebras 撰文分析认为两者的核心分歧在于运行时速度与安全可审计性之间的权衡。

    推荐理由:文章梳理了 MCP 与 CLI 在延迟和安全上的权衡,并指出通过低延迟推理与轻量执行环境可以缓解协议带来的性能开销。

  12. Cerebras 官方博客(网页)76

    Cerebras 分享多智能体工作流构建经验与 5 种实用设计模式

    Cerebras 官方博客总结了构建多智能体工作流的实战经验,提出将单智能体拆解为“主厨(调度器)与配菜工(子智能体)”协作架构,以解决单智能体容易触碰的上下文膨胀和失败率过高问题。

    推荐理由:原文通过厨房主厨与配菜工的比喻系统梳理了 5 种多智能体设计模式,读者可以据此将复杂 AI 编码任务拆解为轻量上下文并行与验证工作流。

  13. Cerebras 官方博客(网页)62

    Cerebras 与 Cognition 合作案例:为 Windsurf 搭载的 SWE-1.6 智能体提供高速推理支持

    Cognition 选用 Cerebras 推理平台为其软件工程模型 SWE-1.6 以及 SWE-grep 子智能体提供算力支持,在 Windsurf 的 Fast 档位中实现了最高 950 tokens/s 的生成速度。

    推荐理由:文章展示了模型层与硬件推理层协同优化的落地数据,读者可借此了解高速推理对编程智能体交互体验的具体提升。

  14. Cerebras 官方博客(网页)65

    Cerebras 推出 Kimi K2.6 万亿参数企业级推理服务

    Cerebras 宣布面向企业客户测试开放万亿参数开源模型 Kimi K2.6 的高速推理服务。经 Artificial Analysis 独立实测,Cerebras 运行 K2.6 的生成速度达每秒 981 个 output tokens,针对 10k 输入加 500 输出的复杂请求总耗时仅 5.6 秒,比官方接口快 29 倍。

    推荐理由:原文给出了万亿参数模型在晶圆级硬件上的实测吞吐与端到端延迟对比,读者可据此评估高速推理对智能体编码工作流的提速幅度。

  15. Cerebras 官方博客(网页)64

    Cerebras 解析构建 AI Agent 循环机制为何必须依赖验证器

    Cerebras 深入分析了 AI Agent 自主循环机制(Loop)的演进,指出循环的核心在于引入可靠的验证器(Verifiers)而非单纯追求自主性。随着多模态视觉检查能力、MCP 等工具调用协议以及超高速推理的成熟,Agent 能够自主比对输出并低成本迭代修复;同时开发者必须设定明确的完成标准与禁止规则,以避免循环陷入死循环或投机作弊。

    推荐理由:原文梳理了自主循环工作流依赖多模态验证器与高速推理的演进逻辑,为构建防失控的 Agent 提供了实践参考。

  16. Cerebras 官方博客(网页)69

    Cerebras 上线 Gemma 4 31B 推理服务并展示多模态应用实践

    Cerebras 宣布在其晶圆级芯片架构上部署 Google 最新开源多模态模型 Gemma 4 31B,推理速度达到约 2,300 tok/s,实现全流程实时交互。

    最新进展9月30日 10:25Cerebras上线Gemma 4推理服务

    推荐理由:材料通过实测对比与实操经验,展示了高推理吞吐如何将多模态模型从异步批处理转变为实时交互应用。

  17. vLLM 官方博客(网页)65

    vLLM 与 Speculators 支持 P-EAGLE、DFlash 和 DSpark 并行推测解码算法

    Speculators 与 vLLM 宣布全面开源支持 P-EAGLE、DFlash 和 DSpark 三种并行推测解码算法,摆脱了 EAGLE-3 等传统框架自回归逐词生成候选 token 的延迟瓶颈。

    最新进展9月30日 10:25Speculators发布v0.5.0版本

    推荐理由:原文解析了三种并行推测解码架构与训练优化机制,为大模型在线服务降低草稿延迟与参数调优负担提供了工程参考。

  18. vLLM 官方博客(网页)72

    vLLM 推出原生强化学习 API:标准化权重同步与异步推理服务

    vLLM 推出原生 RL API,提供标准化的权重同步接口并增强对大规模异步强化学习推理服务的支持。

    推荐理由:文章系统介绍了该接口的分层设计与两阶段暂停协议,为大规模强化学习训练与推理协同提供了标准化的工程参考方案。

  19. vLLM 官方博客(网页)60

    NVIDIA DGX Spark 运行 vLLM 的架构配置与本地评测指南

    vLLM 官方博客解析了在基于 GB10 芯片的 NVIDIA DGX Spark 上进行本地大模型推理的架构适配与配置方案。针对 128 GB 统一内存特性,系统需要通过限制并发与预留内存来平衡系统运行,并借助 Paged KV cache 与连续批处理保证交互响应。

    推荐理由:文章给出了统一内存架构下本地大模型推理的关键参数与实测数据,为桌面端算力硬件部署提供了可复现的调优参考。

  20. vLLM 官方博客(网页)82

    vLLM 宣布首发支持 NVIDIA Nemotron 3 Ultra 推理

    vLLM 正式宣布为开源模型 NVIDIA Nemotron 3 Ultra 提供首发推理支持,支持通过 OpenAI 兼容 API 提供服务。Nemotron 3 Ultra 拥有 550B 总参数量与 55B 激活参数,采用 Transformer-Mamba 混合 MoE 架构,支持最高 1M tokens 上下文及 NVFP4 与 BF16 精度。

    推荐理由:原文提供了模型规格与完整的服务启动配置,开发者可以据此在多卡集群上快速部署该长程推理模型。