Skip to content

Benchmarks

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

164selectedRelated topics模型发布论文研究推理能力

Latest selected

141–160 of 164
Sep 29Tue
  1. Cloudflare Blog · 网络基础设施60

    Cloudflare 使用前沿 AI 模型实测自家 WAF:1107 次攻击变异与规则加固Chinese

    Cloudflare 使用前沿大语言模型构建双模型自适应循环,在黑盒环境下对自家 WAF 展开动态渗透与变异载荷测试。测试覆盖 XSS、SQLi、CMDi、SSRF、LFI 和 Log4j 等 6 类攻击共 1,107 次尝试,人工筛查后确认 49 个主要集中于 CMDi 和 SSRF 的有效防御缺口。

    Why it matters: Cloudflare 详述了利用大模型动态变异载荷测试 WAF 的闭环框架,为安全团队探索 AI 辅助渗透与防御加固提供了可落地的工程实践。

  2. 爱范儿 · AI 筛选73

    神秘 AI 模型 Space Bunny 实测:支持草图生成 3D 网页与 Agent 编程,分词特征指向 MiniMaxChinese

    匿名模型 Space Bunny Alpha 近期在 OpenRouter 和 OpenCode 上线,凭借快速响应、草图生成可交互 3D 网页及 Agent 编程能力引发大量调用。实测显示其能直接理解粗糙草图并生成包含动效的前端页面,但在精细视觉质感上与旗舰模型仍有差距。分词特征与代码线索分析显示,该模型可能来自 MiniMax 家族。

    Why it matters: 实测展现了该模型将简单草图快速转化为可交互 3D 网页的能力,读者可据此了解轻量级 Agent 编程的适用边界。

  3. SemiAnalysis · 算力产业73

    GLM-5.3 稀疏注意力机制如何影响 HBM 显存占用与推理成本Chinese

    稀疏注意力虽然减少了核心 SDPA 计算的带宽消耗,但因 Top-k 筛选仍需完整上下文,并未直接打破 HBM 容量瓶颈。通过 SGLang 的 HiSparse 等分层显存系统将 KV cache 卸载至主机 DRAM,可在高并发长上下文场景下保持 95% 以上缓存命中率并提升吞吐。

    Why it matters: 文章结合实测基准对比了主流算力芯片的推理成本,并深入拆解了稀疏注意力在长上下文场景下的分层显存优化与后训练设计。

Sep 26Sat
  1. SemiAnalysis · 算力产业73

    SemiAnalysis 拆解英特尔 Panther Lake:首发 18A 制程与背面供电技术Chinese

    SemiAnalysis 对英特尔 Panther Lake 处理器进行了深度拆解,实测其 18A 计算逻辑密度与台积电 N3E 相当,但在峰值密度上未超越台积电 N3P、N2 或三星 SF2。

    Why it matters: 实测对比了 18A 工艺与台积电 N3E 的逻辑密度,为评估英特尔背面供电与全环绕栅极的制造进展提供了实物数据。

Sep 24Thu
  1. SemiAnalysis · 算力产业81

    SemiAnalysis 发布 ClusterMAX 3.0 GPU 云评级报告:Nebius 晋级白金梯队Chinese

    SemiAnalysis 正式发布 GPU 托管集群评测体系 ClusterMAX 3.0,对 77 家云服务商进行实测并追踪 323 家供应商。评级结果显示 Nebius 与 CoreWeave 并列白金档,Google Cloud 与 Oracle 位列黄金档,Azure 降至白银档,全球仅 19 家云商获得奖牌级评定。

    Why it matters: 该报告系统梳理了 Blackwell 架构下 GPU 云的实测基准与分级,读者可借此评估算力交付的故障率和调度差异。

Sep 23Wed
Sep 22Tue
  1. Hugging Face60

    UK AISI 与 EvalEval 如何让基准评测结果具备可复现性Chinese

    英国人工智能安全研究所(UK AISI)正式采用 EvalEval 基础设施公开基准评测结果,利用 Evaluation Cards 平台与统一的 EEE 规范提升评测的可复现性与透明度。

    Why it matters: 通过统一元数据和运行配置公开评测记录,为行业对比前沿模型评测差异提供了标准化的复现参考。

  2. Simon Willison75

    Simon Willison 解读 TypeSafe AI 新型决策模型 Jev 与系统一架构Chinese

    TypeSafe AI 推出新型模型 Jev,主打输入非结构化文本并直接输出分类、评分与布尔判断等类型化浮点概率决策。该模型输出免费且输入价格为 $0.042 per M tokens,支持在上下文窗口内并行评估多个问题,适用于垃圾检测、标签推荐与搜索重排序等分类任务。Simon Willison 指出 Jev 带来了更彻底的黑盒特性与潜在偏见风险,当前社区已出现开源权重复现项目及评测基准。

    Why it matters: 原文详细拆解了仅输出类型化浮点概率的决策模型机制与定价特点,有助于读者理解分类与重排序场景下降低成本的新架构路径。

Sep 21Mon
  1. LangChain 官方博客62

    LangChain 评测 Jev 作为智能体评估器的可行性与表现Chinese

    LangChain 实测了 TypeSafe AI 的 System One 决策模型 Jev 在智能体评估任务中的表现。在包含 500 次重复判定的天气测试集对比中,Jev 的二元通过判定与人类标准完全一致,单次调用成本为 $0.00035,方差显著低于 GPT-5.6 Terra、GPT-5.6 Luna 和 Claude Sonnet 4.6。

    Why it matters: 评测给出了非自回归模型用于智能体评估的精度与成本对比,读者可据此参考低延迟评测方案。

Sep 18Fri
Sep 16Wed
  1. NVIDIA · AI 筛选76

    NVIDIA Vera Rubin NVL72 首度亮相 MLPerf Inference v6.1 评测Chinese

    NVIDIA 在 MLPerf Inference v6.1 预览评测中展示了 Vera Rubin NVL72 系统,在 Qwen3-VL 任务上的吞吐量达到 GB300 NVL72 的 3.7 倍,在 DeepSeek-R1 上的吞吐量最高达到 2.5 倍。

    Why it matters: 原文通过实测基准数据对比了新一代架构在长上下文与多模态模型上的吞吐与扩展效率,便于评估大模型推理基础设施的代际演进。

Sep 15Tue
  1. SemiAnalysis · 算力产业76

    SemiAnalysis 评测 Vera Rubin NVL72 智能体推理性能:单位成本与能效大幅超越 BlackwellChinese

    SemiAnalysis 发布了基于 AgentX 基准的 Vera Rubin NVL72 首批实测数据,显示其智能体推理能效与每美元吞吐量大幅超越 Blackwell 架构。

    Why it matters: 文章通过多负载基准实测拆解了新一代集群在每瓦吞吐和总体拥有成本上的真实收益,为智算中心选型提供了量化参考。

Sep 2Wed
  1. Hugging Face64

    AllenAI 推出 BenchMIRT:基于多维项目反应理论审计 LLM 基准测试Chinese

    AllenAI 推出 BenchMIRT 评估方法,利用多维项目反应理论在单题层级审计 LLM 基准测试实际衡量的潜在能力,并开源了代码、数据与技术报告。该方法分析了 100 个大模型在 16 个基准中超过 34K 道题目的表现,独立分离出安全性和通用推理两大主维度,发现 BBQ 与 WMDP 等传统安全基准的得分受通用推理能力影响更显著。

    Why it matters: 该方法引入多维项目反应理论拆解评测题目实际测量的能力维度,有助于研究者诊断基准中的混杂信号并精简测试集。

Aug 27Thu
  1. Google DeepMind64

    Google DeepMind 试点双盲 AI 评测以防止基准污染Chinese

    Google DeepMind 联合新加坡 AI 安全研究所、OpenMined、AVERI 及 MLCommons 试点双盲 AI 评测机制,旨在解决基准污染问题。该方案将外部评测置于密码学安全环境中,确保模型在测试前无法接触保密题目以人为刷高分数,本次试点已在隐私保护环境中对 Gemini Flash Lite 模型展开保密基准测试。

    Why it matters: 原文介绍了用密码学安全环境隔离测试集以防止基准污染的机制,读者可以了解前沿模型第三方评测如何提升真实可信度。

  2. LangChain 官方博客60

    LangSmith 推出自改进评测器功能:将人工修正转化为少样本提示词对齐裁判大模型Chinese

    LangChain 宣布在 LangSmith 中推出自改进(self-improvement)评测器功能,用于解决 LLM-as-a-Judge(大模型作为裁判)在评估生成式任务时难以对齐人类偏好且需大量提示词工程的痛点。

    Why it matters: 该方案通过收集人工修正作为少样本示例回填提示词,为大模型裁判的偏好对齐提供了一种无需反复调优提示词的工程化实现路径。

Aug 21Fri
  1. Hugging Face73

    Hugging Face 评估语音识别模型基准过拟合现象Chinese

    Hugging Face 发布研究评估了 11 款主流开源 ASR 模型的基准过拟合现象,发现部分低 WER 高分模型会依据声学线索复现基准参考文本中的错误甚至补全被静音的数字。研究设计了参考文本不一致、掩码实体检索和正字法切换三项测试,并在 Open ASR Leaderboard 上线了基准拟合分析标签页与开源脚本。

    Why it matters: 研究设计了量化 ASR 模型刷榜过拟合的具体探针方法,读者可据此审视公开基准分数的真实泛化能力。

Aug 19Wed
Aug 13Thu
  1. Hugging Face78

    Hugging Face 总结 ICML 2026 论文大规模智能体复现挑战赛经验Chinese

    Hugging Face 总结了社区利用编码智能体对 ICML 2026 论文开展的大规模复现挑战赛,在 19 天内针对 2,226 篇论文完成了 6,816 份复现记录并裁决了 35,908 项科研主张。

    Why it matters: 原文展示了利用编码智能体规模化复现学术论文的实测数据与局限,为自动化科研审计与人机协同评测提供了可参考的范式。

Aug 12Wed
  1. Google Research70

    Google Research 提出知识画像框架:大模型事实性瓶颈在于提取而非参数编码Chinese

    Google Research 提出知识画像(knowledge profiling)分析框架与 WikiProfile 基准,指出前沿大语言模型的事实性瓶颈在于知识提取而非参数编码。

    Why it matters: 研究将大模型事实错误归因于提取而非编码瓶颈,为后训练与推理期事实检索优化提供了分析框架。

Aug 11Tue
  1. Hugging Face66

    IBM 研究团队对比 ALTK-Evolve 与 ACE:按需交付智能体记忆可大幅削减 Token 消耗Chinese

    IBM Research 公布 ALTK-Evolve 与 ACE 智能体记忆机制的对比评测,表明通过按需检索与动态交付经验规则,能在保持或提升 AppWorld 任务准确率的同时显著降低推理 Token 消耗。

    Why it matters: IBM Research 对比了 ALTK-Evolve 与 ACE 在智能体记忆交付上的机制差异,展示了按需检索经验规则以大幅降低推理 Token 成本的可行性。