Forecast-Dojo:用于大模型预测智能体评测与训练的可回放环境
研究人员推出了名为Forecast-Dojo的可回放环境,专门用于基准测试和训练大语言模型预测智能体。该环境将已公布结果的预测市场问题与带时间戳的历史新闻相结合,允许智能体在连续的历史时间节点检索事件并动态调整预测,无需等待未来事件即可完成评估、交互数据收集与结果反馈。系统包含1568个Polymarket事件及1880万篇带日期的新闻文章,并对12个模型进行了评估测试。
研究人员推出了名为Forecast-Dojo的可回放环境,专门用于基准测试和训练大语言模型预测智能体。该环境将已公布结果的预测市场问题与带时间戳的历史新闻相结合,允许智能体在连续的历史时间节点检索事件并动态调整预测,无需等待未来事件即可完成评估、交互数据收集与结果反馈。系统包含1568个Polymarket事件及1880万篇带日期的新闻文章,并对12个模型进行了评估测试。
随着企业内AI编程智能体从数百人试点规模扩展至数万人,企业多直接采购Claude Code或Codex等第三方运行框架。此类框架负责决策模型路由、上下文读取、Prompt缓存使用及子智能体调用,直接决定了算力消费单价与调用总量。报告指出,企业若直接使用未加调优的专有或默认框架,将面临高昂且失控的调用成本,亟需加强路由与治理管控。
针对工具调用型智能体在策略持续更新中动作归因(Action Credit)失效、重新计算导致昂贵工具调用与环境交互成本的问题,该研究探讨了历史归因何时真正需要更新。研究核心发现,动作价值的变化并不一定会导致最终决策的改变;只要策略诱导的漂移不足以颠覆原有决策,历史动作归因即可继续复用,从而大幅降低计算开销。(注:原始摘要文本存在部分截断)
基于大语言模型的多智能体系统虽能自动化挖掘量化阿尔法因子,但依赖外部API带来了成本、可用性及保密性挑战,且长期运行易导致研究路径坍塌。为此,研究团队提出 AlphaDiverse 框架,整合了多智能体研究系统、多样化研究路径收集以及本地智能体后训练流程。该框架通过生成互补的研究方案组合并动态调整研究环境,旨在提升本地量化研究智能体在因子挖掘中的多样性探索能力。
在去中心化的大语言模型多智能体系统中,单个智能体可能在保持响应的同时任务求解质量持续退化,引发灰度失效。针对此类问题,研究人员提出了完全去中心化的自愈框架MeshHeal。该框架在双时间尺度上结合能力匹配的同行评审机制:在快速时间尺度上,通过自适应分层机制升级不确定或低评分输出的评审层级;在提供即时任务保护的同时,收集证据以动态调整未来的路由决策,并允许恢复正常的智能体重新接入。
针对癌症登记员及肿瘤数据专家需处理复杂且频繁更新的编码和分期标准这一痛点,研究团队开发了CRISS(癌症登记智能支持系统)。该系统采用检索增强生成(RAG)架构,构建能够快速提供引文支持的对话助手。研究评估了CRISS在提供准确且附带引用来源的解答、改善指南检索与解读、以及在保持人工最终审核的前提下支持人员培训和技术咨询等方面的实际效果。
该研究针对欧洲电力交易跨日前、日内和平衡等多层级市场的复杂机制,提出了一种符合监管约束的AI辅助交易系统功能架构。该架构深度结合了欧盟市场耦合机制、跨区域电力传输物理约束,并满足REMIT、MiFID II、MiFIR和EMIR等合规要求。研究通过定义决策状态向量、残差风险敞口核算以及约束优化目标,构建了一套正规化的系统规范,为高监管环境下的电力AI交易系统开发提供了工程指导。
该研究探讨了大语言模型智能体的持久记忆机制,旨在不更新权重的前提下持续改进提示与技能。研究发现,将检索范围与认证范围精确匹配,能有效防止跨任务族的干扰,支持在重复出现的任务族中实现可靠适应。研究人员在12轮代码修复数据流ProcStream-RSI上对冻结模型智能体进行了测试,并使用基于执行的正交回归控制门控机制,证实仅在技能生成的原始任务族内检索该技能,可显著提升轨迹效用。
该研究针对大语言模型智能体在复杂工具使用任务中的技能自我进化问题展开探索。论文指出,复杂任务通常存在多种有效解题路径,失败轨迹往往也包含前期的有效进展而非全盘皆错。因此,研究提出不应将失败轨迹强行与固定成功路径对齐或进行粗粒度反思,而应精确定位有效求解向错误偏离的转折点,通过偏差引导的方式实现智能体技能的高效自我进化与演进。
本文介绍了基于智能体的文档处理(Agentic Document Processing)技术。该方案借助AI智能体自主执行端到端的文档业务流程,旨在解决传统自动化难以应对的复杂工作流挑战。内容重点阐述了该机制的核心运行原理,并为企业和开发者如何启动并落地此类智能体自动化应用提供了实践指导。
Lean Pool 是一个形式化数学代码库,其核心特色在于完全由 AI 智能体负责拓展、维护与持续优化。该项目展示了人工智能在形式化定理证明与复杂数学知识归档中的自主管理潜力,有助于提高数学形式化库的组织效率与代码质量。由于原论文摘要提供的信息极为简略,具体的智能体协作机制与工程实现细节仍有待进一步公开。
神经影像数据分析通常需要专业的编程与统计技能,这给非计算背景的研究人员带来了门槛。为此,研究团队推出了“AI神经科学家”,这是一种用于交互式数据探索的语言智能体。该系统将大语言模型与神经影像专业工具集相结合,支持研究人员直接通过自然语言查询数据质量、执行建模与可视化并设定分析参数,为小规模数据探索提供了一种替代传统脚本处理流程的透明且交互式的解决方案。
针对基层医疗中早期卒中风险信号分散于常规指标与非结构化临床文本的难题,研究人员提出了多模态门控架构 MedGate-Fusion。该模型通过 Transformer 提取患者初次就诊叙述的语义嵌入,并与 10 项常规生理风险标志物进行多模态融合。研究基于加拿大基层医疗监测网络(CPCSSN)的电子病历数据,构建了包含超 10 万名患者的初诊队列,旨在实现前瞻性卒中风险分层。
该论文指出当前大模型智能体在社交决策(如是否互动或联系谁)中,往往仅关注内容显著性而忽略人际间的潜在关系(如关系强度、互惠性等)。现有的智能体循环无法根据新关系证据动态调整社交假设,导致在关系与内容线索产生分歧时做出表面化选择。为此,研究团队形式化了这种失效模式,并提出了包含500个样本的关系推理基准测试及ReAdapt方法,以提升智能体的社交推理能力。
在企业环境中,结构化数据智能体需要面对分布在模式、数据关联和业务规则中的复杂环境。现有系统常依赖Markdown格式的记忆或技能文件来沉淀信息以减少重复探索,但该做法模糊了合理的分工界限。研究指出,智能体更擅长语义推理,而学习型系统更适合执行预测与数据组织。论文围绕此分工探讨了针对数据智能体的数据压缩与路由方法(注:原文摘要存在截断)。
针对当前智能体在重复任务中表现不一致且极度耗费资源的缺陷,研究团队开展测试发现,智能体在重复执行中不一致率达38%至74%,且超95%的生成内容都在重复推导已知方案。为此,研究提出“技能习惯养成”(skill habit formation)机制,让智能体从历史执行记录中挖掘候选确定性技能,使其与既有方案竞争并界定适用输入空间,从而大幅改善智能体在重复任务中的一致性与计算效率。
该研究探讨大语言模型在充当特定课程导师时的落地优化。研究团队针对真实机器学习课程资料构建了多模态检索增强生成(RAG)系统,前期发现固定检索策略存在局限性,进而转向探索在数据摄入阶段对知识语料库进行结构化整理(如Wiki LLM索引)是否比查询阶段增加检索量更为重要。由于原始论文摘要文本在阐述具体实验前截断,详细结论在摘要中未完全披露。
针对在线A/B测试受流量和周期限制、难以覆盖大量对话式AI迭代的问题,研究者提出了一种分层参与度评估框架。该研究构建了一套可复用的诊断清单,将离线代理指标解构为三层对齐链条:行为标签与产品结果对齐、分类器与候选助手行为对齐,以及离线聚合信号与在线实验效应相对应。配套评估协议旨在离线环境下无须真实用户暴露即可高精度预测在线实验结果,加速系统迭代。
针对AI智能体提前授权可能导致载荷、权限或状态发生漂移的安全风险,研究团队提出ZeroGate架构。该方案将精确操作审批与持久本地准入解耦:签发者签署具有时效性的ActionPass凭证,受信任运行时适配器重构最终操作,再由本地网关验证绑定并消耗nonce。系统利用SQLite事务同步处理nonce注销、配额更新及准入收据生成,在维持信任边界和决策一致性的前提下优化了执行分发延迟。
研究人员提出了 ShowTellArena,这是一个用于评估智能体在观看带有口述解说的业务演示后其理解能力的基准测试协议与公开数据集。该基准模拟了人类通过“边演示边讲解”指导新同事的场景。v1.0 版本涵盖财务、招聘、采购、客户决策、库存和物流等领域的 50 个业务工作流任务,包含屏幕录像、截图、旁白解说及 502 道评估试题,旨在系统性测试智能体对复杂商业流程的掌握水平。
基于大语言模型(LLM)的用户模拟器常用于推荐系统评估,通过设定偏好属性(交互内容)与行为活跃度特征(浏览时长)来模拟真实用户。研究发现,模拟过程中这两种特征设定的独立性会失效:一是产生特征干扰,过高的活跃度会打破偏好边界,迫使模型与不匹配内容交互以维持浏览;二是导致评估失效,满意度评分会随着活跃度驱动的页面数量虚假膨胀。
该研究探讨了计算机辅助检测(CADe)系统在结肠镜检查中产生的假阳性提示对内窥镜医生注意力的分散效应。研究结合回顾性配对视频实验与前瞻性实时眼动追踪,分析了3名资深及2名初级医生观看60段视频的表现,并记录了9名资深医生在42例实时辅助检查中的视线变化,量化了假阳性提示对注视吸引和注意力占用的具体影响。由于摘要截断,更细致的结果未完整展示。
随着智能体 AI 系统逐步采用整合多工具的自动化流程,智能体与工具间交互的可靠性日益受到关注。该研究针对生物学智能体等工作流场景,系统调查了交互过程中的“静默失败”问题。此类故障表现为工具调用表面上显示成功,但 API 或封装层返回的信息与功能实际存在缺失或残缺,且未向用户或智能体发送任何异常通知。该研究填补了此前评测仅关注任务完成率而忽视交互底层隐性故障的空白。
现代大语言模型智能体大多依托于由模型与工具调用构成的核心循环(Agent Loop)运行,但处理记忆增强与自我改进等复杂工作流时,通常依赖复杂的额外工程系统。为此,研究团队构建了极简智能体框架JAZ,旨在探索仅依靠最基础的循环机制,在多大程度上能够替代并完成此类专门系统的任务。由于原文摘要结尾存在截断,关于JAZ具体暴露的接口与机制细节仍有待全文披露。
针对单一局部合理的工具调用可能导致整个智能体执行轨迹失败的问题,研究人员提出了一种名为 TwinCheck 的推理期验证策略。该策略认为仅凭怀疑进行干预可能引入新错误,因此仅在轨迹满足与局部失败假设相关的证据条件时才触发替换。系统通过构建基于轨迹的反事实替代方案(即“负孪生”),仅当该方案通过结构检查且成对验证器判定其更优时,才替换智能体原有的提议调用,有效提升了执行可靠性。
该研究旨在为动态模拟世界中人类与多智能体的交互提供设计原则和软件架构。结合通用人工智能(AGI)发展、Transformer对话智能体的普及以及计算能力的提升,文章梳理了过往与当前的多智能体心智理论,重点关注具备社会与情感认知能力的智能体,探讨智能体之间及其与人类互动的综合设计方法,以增强多智能体系统的交互理解与协同模拟能力。
该论文针对Python生态中因版本不兼容与包缺失导致的“依赖地狱”问题,提出了混合依赖修复管线PLLM+。该方法在包含2891个报错片段的HG2.9K基准上进行了验证。PLLM+在调用大语言模型前,优先执行低成本确定性策略,包括基于AST的静态解释器推断、历史成功配置重放以及实时PyPI验证,随后结合LLM进行精准修复,有效提升了真实代码的执行成功率。
该研究探讨了大语言模型智能体在量化因子全流程研究中的职责划分。研究团队提出了一种“受管制的自我演化”框架:智能体仅负责提出投资因子假设,而由一个独立的固定统计裁判机制进行评估。裁判仅根据因子提交后披露的真实市场表现进行动态评分与对赌,从而确保在任意停止时间下均具备防伪发现的统计保证。该设计有效解决了智能体既当运动员又当裁判所带来的过拟合与数据窥探问题。
针对企业利用大语言模型进行合规、风险及运营决策时对证据验证、审查路由与可审计性的高要求,研究人员提出了Policy-as-Skill(PaS)模块化运行时框架。该框架将上述功能打包为可执行且具备版本控制的策略能力。在基于固定模型后端的600项开发任务评估中,PaS+Audit方案取得了53.8%的准确率、100%的引用精确度与审计完整性,在绝大多数治理与合规指标上超越了传统LLM+RAG架构。
该研究探讨了大型语言模型多智能体辩论(MAD)中的通信拓扑问题。针对当前学术界倾向于设计复杂、自适应或动态重构交互拓扑以提升推理准确率的趋势,研究团队深入审视了稀疏通信机制。论文提出“相异对等随机路由”方法,旨在探究是否真的需要复杂的拓扑控制,证实简单的稀疏通信即可在显著降低成本的同时实现极具竞争力的推理性能,为优化多智能体交互架构提供了更具成本效益的新思路。