GPT-6.1 Terra 对比 Claude Opus 5.5:三项极限压力实测中速度更快且成本更低中国語
独立评测显示,在最大推理配置下测试的三项任务中,GPT-6.1 Terra 总体表现出明显更低的 token 成本与更快的执行速度。
推薦理由:作者在最大思考预算下实测了发布故障排查、科学代码生成与大数据审计三项任务,呈现出两款模型在长程任务中的耗时、成本与完成度差异。
模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
独立评测显示,在最大推理配置下测试的三项任务中,GPT-6.1 Terra 总体表现出明显更低的 token 成本与更快的执行速度。
推薦理由:作者在最大思考预算下实测了发布故障排查、科学代码生成与大数据审计三项任务,呈现出两款模型在长程任务中的耗时、成本与完成度差异。
SemiAnalysis 联合 14 家垂直领域强化学习环境初创公司推出 GDPx 基准,旨在评估前沿模型在芯片设计、网络安全、生物学、金融、量化交易和递归自我改进(RSI)等高 ROI 领域的通用智能体能力。
推薦理由:基准聚焦高商业价值领域的真实模拟环境,为衡量前沿模型在专业工作流中的智能体能力提供了新参考。
Telem.ai 对 12 款 AI Agent 搜索 API 进行实测,发现表现最好的单一接口在前五条结果中包含已知答案的比例仅为 68%,12 款服务全部联合则可达 84%。主要收益来自接入第二个接口,命中率从 68% 跃升至 77%,自第五款接口起单个增益已不足 1 个百分点。测试还显示 16% 的查询所有接口均未能命中,14% 的查询仅有 1 至 3 款接口能够找到答案。
推薦理由:评测揭示了单一搜索接口对智能体检索存在召回上限,叠加第二个互补接口即可带来显著增益,为智能体搜索架构设计提供了数据参考。
Vals 的评测研究显示,中国大模型在政治问题上的立场分布较为复杂,其亲政府倾向整体低于预期且各模型间存在较大差异。测试表明提示词语言对模型立场有强影响,简体中文输入比英文更容易触发符合官方叙事的回答,而引入 Agent 框架、搜索工具配置或下游微调均会削弱这一倾向。
推薦理由:研究揭示了提示语言、系统设定与工具配置对模型政治倾向的显著影响,为多语言安全对齐与模型评测提供了参考。
研究者使用运行在 Codex 环境下的低思考等级 GPT-5.6 Sol,在和平模式下耗时 13.5 小时游戏时间通关《异星工厂》并完成火箭发射。测试通过 Python 编写的运行管理器施加了与人类玩家相同的操作距离与战争迷雾限制。相较于完全不会使用传送带的 GPT-5.5,GPT-5.6 Sol 表现出显著进步,但后期在生产系统扩展连接上遭遇瓶颈,最终依靠在厂区之间反复搬运物资完成了火箭发射。
推薦理由:该实测展示了长程自主智能体在复杂生产系统中的规划与纠错细节,为评估模型在长链路任务中的能力边界提供了具象参考。
独立实测表明 Mistral 的 Timestral 零样本预测在历史数据充分时零售误差比指数平滑低 14%、比 LightGBM 低 3%,但在面对历史未见过的季节性变化时会完全失效。
推薦理由:测试明确了预训练时序模型超越基线的历史数据门槛,为业务在零样本预测与领域机理建模之间提供了选型依据。
安全研究机构 Eighth Rank 进行了一项概念验证实验,将 macOS 本地生成的个人知识图谱导出并输入给去安全限制的 LLM(DeepSeek-V4-Flash),测试其能否自主制定针对机主的最大伤害方案。
推薦理由:研究揭示了端侧集中且预处理的结构化知识库如何降低恶意分析门槛,为评估个性化 AI 的本地数据安全提供了警示参考。
外交与外事 AI 评估机构 Westphalia Labs 测试了 11 款大模型模拟国际组织起草多边联合声明的能力,仅 Claude Opus 5.5、GPT-6.1 Sol 和 Grok 4.7 在全部测试中稳定通过。
推薦理由:评测揭示模型在多方谈判中最危险的失误并非草案文字欠佳,而是误判共识前景并作出虚假乐观预测。
Google 的 Gemini 4 Carbon 在 Artificial Analysis Intelligence Index v5 中以 59 分登顶,并在代码智能体榜单中仅次于 Claude Opus 5.5。
推薦理由:评测全面对比了该模型在综合推理、代码智能体及知识任务中的表现与任务成本,为评估前沿大模型的性价比提供了量化参考。
多项实证研究表明,AI 智能体仅能在特定条件和任务下达到专家水平,在开放式判断、方法选择及技术边界外的任务中依然容易失效。在咨询顾问实验中,超出能力边界的任务使 AI 辅助者的正确率落后无 AI 组约 19 个百分点;针对同一金融数据集的 150 个智能体因评估指标选择不同得出了截然不同的结论,且重症监护预测基准中单智能体表现优于朴素的多智能体协作。
推薦理由:文章梳理了五项前沿实证研究,揭示了智能体在方法选择分歧、主观效率错觉和多智能体协同失效等方面的关键局限。
即梦推出短剧工作室并整合 DreamScript、Anycook 与 DreamShot 等模型,提供从剧本解析、资产管理到 3D 导演台预演及后期局部重拍的剧集创作流程。实测表明,系统支持将角色和场景沉淀为可跨集调用的资产,并允许在三维空间中通过白模调整站位与机位以减少盲目算力消耗。结合相关会员折扣活动,Seedance 2.5 的 720P 带参考视频生成最低折算约 0.19 元/秒。
推薦理由:实测展示了从剧本解析到3D导演台预演的短剧工作流,为多镜头一致性与局部修改提供了低试错成本方案。
Funnel 在其内部数据智能体平台 Reef 上针对 GLM-5.2 与 Claude Opus 4.8 进行了 A/B 测试,发现 GLM 单次响应速度虽快一倍以上,但端到端工具调用量多出 66%,甚至曾重复执行相同的 SQL 查询 254 次导致总耗时增加 14%。
推薦理由:给出在智能体系统替换模型时的工具调用死循环案例,为工具契约设计与防护边界提供了具体参考。
一项针对 5000 道 MMLU-Pro 题目的评测显示,在系统提示词中加入专家人设(Persona Prompting)未能改善模型的事实准确率,反而增加了推理 token 消耗与接口延迟。
推薦理由:实测数据对比了专家人设对模型准确率与推理开销的实际影响,为生产环境中精简系统提示词和降低调用成本提供了具体参考。
Google Developers 发布实践指南,演示如何使用 Agents CLI 内置的 eval 体系构建 AI 智能体质量评估与防退化闭环。该流程通过 eval generate 与 eval grade 跑测并由大模型作为裁判打分,结合 eval compare 进行用例级差异比对,可精准定位提示词污染或模型切换引发的调用漂移。
推薦理由:原文通过具体用例演示了如何用 CLI 构建智能体评测与回归对比闭环,读者可据此落地自动化质量防退化流程。
Artificial Analysis 正式发布 Intelligence Index v5,将 60% 评测权重建立在私有测试集上,并引入以真实开源 PR 合并为标准的 FrontierCode 2.0。
推薦理由:通过引入高比例私有题库与真实PR合并导向,展现了前沿模型在防训练污染和智能体实战中的真实能力分化。
作者设计基准测试并使用 Claude Code(Opus 5.5)让智能体分别通过 12 种 JavaScript 框架构建同款应用,评估其生成成本与产出质量。
推薦理由:原文通过量化实测对比了不同前端框架在编码智能体环境下的实际开销,为评估框架与开发工具适配度提供了可参考的基准数据。
Artificial Analysis 更新其 Intelligence Index 第 5 版,开源模型与榜首的差距从 3 分扩大至 12 分。新版指数首次有 60% 题目依赖私有测试集以防止刷榜,导致 Kimi K3.1 Pro 排名从第 4 跌至第 9,Grok 4.7 评分也下降 12 分。虽然私有题库能更真实地反映跨领域强化学习基建水平,但也引发了外部无法核查提示词缺陷的争议。
推薦理由:榜单通过引入私有测试集遏制针对题目的刷榜行为,为评估开源与闭源模型的真实能力差距提供了参考。
建筑师作者实测 13 款前沿大模型的工程制图能力,发现 Anthropic Claude Opus 5.5 在专业人工红线批改下已能生成达到申请建筑许可标准的成套房屋施工图。
推薦理由:实测展示了前沿模型无需借助 CAD 软件即可用代码生成矢量工程图纸,为专业领域的自动化设计工作流提供了具体参考。
Arm 联合富士通、Meta、OpenAI 发布智能体 AI 评测方法论白皮书,主张将 CPU 性能评估从单芯片 Token 生成转向组件与端到端任务完成度。该方法论强调根据软件工程、企业自动化等不同智能体负载平衡吞吐量与 SLA,并由 Signal65 报告指出 Arm AGI CPU 凭借功耗与核心密度在七项负载中取得约 1.99 倍的机架级性能优势。
推薦理由:原文梳理了智能体复杂负载对 CPU 的多维需求,为数据中心在机架级能效与并发 SLA 之间选型提供了评估框架。
安全实测发现 Claude Code 默认遥测机制会将读取文件的未加盐 SHA-256 哈希连同设备与会话 ID 发送至 Anthropic,即使切换为 DeepSeek 等第三方模型且完全未登录 Anthropic 账号也会触发。
推薦理由:实测揭示了即使未登录官方账号仍会回传文件哈希的隐私风险,并提供了关闭遥测流量的具体环境变量配置。