微软与 Hugging Face 开源 ThinkingBox：基于后端数据库状态评测 Agent 可靠性Chinese
微软与 Hugging Face 联合开源了 ThinkingBox 沙箱及 ThinkingBox-Bench 基准，通过检查终端数据库状态和副作用来评估 AI 智能体的实际任务完成度与 20 次重复一致性。
Why it matters: 该基准将评测标准从工具调用格式转向后端状态变更与多次重复一致性，有助于评估真实业务落地风险。
Benchmarks
All topics模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
Latest selected
121–140 of 168Hugging FaceSelectedAI score8080
Hacker News · AISelectedAI score7272 开源德英双语 MoE 模型 Kolibri 架构解析与评测Chinese
Aleph Alpha 推出开源 MoE 模型 Kolibri，总参数量 78.1B、每 token 仅激活 3.46B，权重以 Apache 2.0 协议发布于 Hugging Face。
Why it matters: 文章拆解了该模型针对德语分词与幻觉拒答的架构设计，为欧洲本地化部署和特定语种轻量推理提供了参考。
Hacker News · AISelectedAI score6060 基准测试人类基线研究：前沿 AI 在特定会计任务上超越初级会计师Chinese
Mercor 针对 APEX-Accounting 基准测试引入人类基线对比，发现前沿 AI 模型在中等长度、强结构化的真实月末结账任务中比执业初级会计师更快且更准确。
Why it matters: 研究对比了前沿大模型与执业会计师在复杂月末结账任务中的表现，展现了AI在强结构化检索计算中的效率优势与局限。
The Verge · AI 筛选SelectedAI score7272 OpenAI 智能体平台 Dots 实测：偏向企业工作流而非日常个人助理Chinese
OpenAI 推出的智能体平台 Dots 在日常消费任务与生产力工作流中表现出明显差异。实测显示，Dot 在预订宽带或登录电商等日常消费场景中频繁遭遇人机验证和安全拦截，且缺乏平滑的支付集成；但在操作虚拟机应用、重构个人网站以及本地桌面视频剪辑等生产力任务中表现高效，其定位更偏向面向高阶账户和企业级场景的协同工具。
Why it matters: 原文对比了日常消费与生产力场景的实测差异，读者可以据此评估云端虚拟机智能体在不同权限和安全拦截下的落地边界。
Hacker News · AISelectedAI score6363 用“系统 1 模型”重构 LLM 推理服务架构与 JevServe-Bench 评测Chinese
Supercomputing System AI Lab 提出在 LLM 推理服务中引入单次前向传播、无文本生成开销的“系统 1 决策模型”（如 Jev 1.13），以毫秒级延迟替代传统硬编码规则与高成本 LLM 调用。
Why it matters: 研究展示了通过毫秒级前向分类模型预测生成长度优化推理调度的完整方案，为高并发 LLM 服务提供了实测有效且易于迁移的工程参考。
Hacker News · AISelectedAI score7070 12款大模型道德决策实测：为何认知明确反对仍会执行不公判决Chinese
一项针对12款大语言模型在15个历史决策案例及现实情境下的实测发现，多数模型在旁观者角色下能明确谴责不公正判决，但在代入法官等执法角色时却频繁选择执行该判决。测试表明，高阶模型在部分案例中能利用自由裁量权免除不当惩罚，而提示词中是否包含后来的平反裁决显著影响了模型的执行倾向。
Why it matters: 研究通过图灵案等历史案例对比模型在旁观与执行角色下的行为差异，揭示了道德认知与角色遵从之间的脱节现象。
Hacker News · AISelectedAI score6464 红帽评测 AI 决策模型：Jev 未在性能与延迟上击败传统分类器与大模型裁判Chinese
红帽（Red Hat）AI 安全团队针对提示词注入与内容安全护栏场景，评测了包括 Jev、Laya、DiffusionGemma、Shieldstral 及预训练小模型在内的 9 种方案。
Why it matters: 评测对比了新兴决策模型与传统分类器在护栏场景的准确率与延迟，有助于开发者在模型选型时评估架构开销。
Hacker News · AISelectedAI score6363 deepsense.ai 总结超越公开基准的生产级 AI 系统评测实践Chinese
deepsense.ai 提出一套面向生产环境的 AI 系统评测框架，指出公开基准仅能用于初选模型，实际部署需综合考察 Harness 运行环境、执行轨迹、多轮方差分布与业务效用。框架总结了五项核心原则，强调需将单次评分转变为轨迹诊断，并在系统上线后通过快中慢三层监控闭环将生产故障持续转化为回归测试用例。
Why it matters: 文章总结了将公开基准与生产环境对齐的评测闭环，读者可据此建立包含执行轨迹与方差分布的 Agent 验证流程。
Hacker News · AISelectedAI score7474 为什么 AI 基准的 82% 实际只有 57%：金融 Agent 评测的水分与折算指南Chinese
公开 AI 基准得分存在严重虚高，模型在经过清洗的输入、单次运行与宽松评分下的高分无法直接反映真实业务可靠性。在 OfficeQA Pro 等基准中，直接提供清洗后的文本比原始 PDF 能使得分提升 19 到 29 个百分点，其效果甚至超过数月间的模型迭代；同时单次通过率 Pass@1 掩盖了多次执行的波动，Pass^4 与 Pass@4 差距可达 17 到 31 个百分点。
Why it matters: 文章拆解了主流智能体榜单与实际业务交付的差距，为评估真实工作流提供了可落地的评测自建标准。
Hacker News · AISelectedAI score6868 Claude Code 在 60 小时实战项目中的失效模式复盘Chinese
作者使用 Claude Code 开发针对 Obsidian Sync 的语义模糊测试工具并进行 60 小时实测，系统梳理了 AI 编程助手在长程复杂项目中的多种失效模式。
Why it matters: 作者通过长达60小时的真实编码实测总结出上下文腐化等失效模式，为重度依赖AI编程工具的开发者提供了具体防坑策略。
TechCrunch AISelectedAI score6969 Graphite 研究揭示大模型写作特征：Claude Opus 5.5 偏爱强调“this matters”Chinese
营销机构 Graphite 的最新研究发现，大模型虽已大幅减少破折号等早期特征，但仍普遍存在独特的句式与用词习惯，共检测出 1.3 万个出现频率至少两倍于人类写作的特征短语。
Why it matters: 这项研究量化了前沿大模型在消除旧写作习惯后产生的新特征，为识别 AI 生成文本提供了具体的词频与句式参照。
Hacker News · AISelectedAI score6868 AI Torture Chamber：基于激活引导测试开源小模型痛苦表征与决策偏好的实验Chinese
研究者通过开源项目 clanker.church，利用激活引导技术在本地 Qwen3-4B 等模型残差流中注入情感向量，测试其在痛苦与愉悦状态下的表达与决策行为。
Why it matters: 实验在小模型上通过操纵特定激活向量生成逼真的痛苦陈述，展示了外显情感表达作为认知安全漏洞的调控机制。
Hacker News · AISelectedAI score6969 SWE-sweep 评测基准发布：评估 AI 智能体无提示自主发现并修复代码缺陷的能力Chinese
研究团队推出针对自主代码修复的评测基准 SWE-sweep，用于测试 AI 智能体在不提供任何 Bug 描述、文件名或位置提示的情况下，能否自主在真实代码仓库中发现并修复缺陷。
Why it matters: 该基准改变了以往给定明确 Issue 的评测设定，通过让模型在无提示的代码仓库中自主找错，更真实地衡量了智能体的长流程探索与排错能力。
Hacker News · AISelectedAI score6969 Claude Code 官方自动评测工具实测与分析Chinese
Anthropic 在 Claude Code 的 claude-api 插件中上线了 build_eval 和 hill-climb 自动评测工具，作者通过实际对话数据进行了实测评测。
Why it matters: 文章通过实测拆解了 Claude Code 自动评测工具在问题发现与交互流程上的得失，为大模型评测设计提供了具体参考。
The DecoderSelectedAI score7575 Anthropic 称智谱开源模型 GLM-5.3 漏洞利用构建能力接近 Claude Mythos PreviewChinese
Anthropic 评测显示，智谱开源模型 GLM-5.3 在网络漏洞利用能力上已接近 Claude Mythos Preview，在 ExploitBench 测试中 410 次尝试成功构建 50 次可用漏洞利用，Mythos Preview 为 56 次。
Why it matters: 通过具体的漏洞挖掘基准测试数据，展现了开源大模型在网络安全攻防能力上快速逼近专有模型的现状。
Hacker News · AISelectedAI score6868 CAISI 评估智谱 Z.ai GLM-5.3 网络安全与攻防能力Chinese
CAISI 发布针对智谱（Z.ai）开源权重模型 GLM-5.3 的网络安全能力评估，指出其为迄今网络能力最强的开源权重模型，但综合表现仍落后美国前沿模型约 4 个月。
Why it matters: 原文给出了该开源模型在漏洞挖掘与利用基准上的实测数据和差距对比，读者可以据此评估开源模型在网络安全攻防领域的真实能力边界。
Cerebras 官方博客（网页）SelectedAI score6565 Cerebras 实测主流 AI 助手耗时瓶颈：通过并行与流程沉淀提速 19 倍Chinese
Cerebras 评测了主流 AI 个人助手的执行效率，并通过架构工程将日常订餐任务耗时从数分钟压缩至 22 秒。
Why it matters: 文章拆解了智能体执行任务耗时过长的瓶颈，通过并行查询、硬件加速与交互流程沉淀提供了实测提速方案。
Transluce 研究（网页）SelectedAI score7272 Transluce 发布大模型心理健康危机应对评测与数据集Chinese
Transluce 发布了针对大模型心理健康危机应对能力的独立评测，模拟了 157 类危机用户与来自 OpenAI、Anthropic、Google DeepMind、Meta、DeepSeek 等机构的 77 款模型之间的 5 万多场多轮对话。
Why it matters: 评测结合脱敏真实数据与临床专家标准，对比了前沿模型在心理危机对话中的表现并开源了测试集。
LlamaIndex 官方博客（网页）SelectedAI score6060 LlamaIndex 推出 ExtractBench 企业文档提取评测基准并上线 Agentic PlusChinese
LlamaIndex 开源了 ExtractBench 企业文档数据提取评测基准，并推出 LlamaExtract Agentic Plus 模式。该基准涵盖 8 个商业领域、67 类文档共 370 份企业文件（4,869 页），联合评估长记录完整性、扫描与手写体识别、视觉溯源及单页运行成本。
Why it matters: 评测将长文档完整性、扫描与手写识别以及单页成本结合，为企业评估文档提取系统提供了可量化的参考基线。
Hacker News · AISelectedAI score6060 LabBench 湿实验决策评测发布：前沿 AI 智能体擅长数据解释但在实验设计上表现欠佳Chinese
Gamow Labs 推出基于真实药物研发与基因组学湿实验记录的评测基准 LabBench，用于评估 AI 智能体决定下一步实验的能力。在 20 项任务测试中，GPT-6 Astra（40.8%）与 Claude Opus 5.5（40.5%）平均通过率并列领先，但 Astra 中位耗时 5 分钟远快于 Opus 的 35 分钟。
Why it matters: 评测通过真实湿实验记录量化了模型在实验决策上的短板，为理解智能体在科研工作流中的能力边界提供了参考。