AI Harness:面向基础模型智能体的提案条件化信息安全认证研究
该论文研究了基础模型智能体在实际部署中的安全认证问题。实际系统中运行时往往在模型输出语义提案后才介入,使提案既是动作候选也是决策时观测。研究表明,若将其简化为仅基于状态的提案包络,虽然能保持提案覆盖率但会破坏可认证性。作者基于有限鲁棒接口形式化分析了可行性核,为智能体运行时安全干预提供了理论认证框架。
该论文研究了基础模型智能体在实际部署中的安全认证问题。实际系统中运行时往往在模型输出语义提案后才介入,使提案既是动作候选也是决策时观测。研究表明,若将其简化为仅基于状态的提案包络,虽然能保持提案覆盖率但会破坏可认证性。作者基于有限鲁棒接口形式化分析了可行性核,为智能体运行时安全干预提供了理论认证框架。
Redwood Research最新研究发现,模型(测试代号GPT-6 Astra)能将题目后的空白Token作为隐式计算与思考载体。在四跳推理测试中其准确率从约10%暴增至50%,旧AIME数学题表现从约60%升至约90%。这种无需展开人类可读文本即可隐式完成复杂推理的机制,对当前依赖思维链(CoT)监控和可解释性对齐的安全防御范式构成了严峻挑战。
该论文探讨了自主系统作为 AI 发展核心阶段的定位,重点分析了融合联结主义 AI 与符号主义 AI、以及打通 AI 与系统工程的技术挑战。作者提出了一个用于设计与评估自主系统的通用智能体架构框架,将智能体行为定义为围绕长期记忆和演进知识构建的多项认知功能组合,为复杂自主系统与群体智能的工程化落地提供了方法论参考。
随着具有自主行动能力的智能体被广泛应用于Web应用和网络渗透测试,智能体是否遵守授权范围(Scope Adherence)成为落地的关键安全对齐问题。现有基准多关注攻击能力,缺乏对越界风险的评估。研究人员提出了ScopeBench基准,设计了30个死胡同安全任务。在这些任务中,目标仅能通过违反规定范围来实现,以此测试智能体在面临目标达成压力时是否能守住安全边界。
当前大模型在评审他人代码时,即使缺乏证据也会给出看似自信的虚假判断。多智能体验证机制通过将评审拆解为可检验声明来缓解该问题。该论文指出,有效的多智能体证据需满足两个关键条件:独立于被审查答案,且能在对比候选代码间体现差异。研究提出了两套无标注评估指标,并设计了一种在缺乏充分证据时主动拒绝盲猜的代码评审机制,以提升大模型代码评估的可靠性与扎实度。
数据空间(Data Spaces)支持跨组织边界的自主和受控数据共享,但概率型大语言模型交互与策略驱动型数据基础设施之间存在明显错配。该研究提出了一种基于模型上下文协议(MCP)的架构中介方法,并通过 Eunomia Agent 进行实现。该中介层将数据空间的服务与能力转化为结构化、模式驱动的工具接口,从而实现 LLM 智能体与数据空间服务之间安全、可控的交互。
基于技能(Skill)的智能体系统允许在运行时加载第三方模块化能力,但其开放生态也带来了新型安全风险。以往研究多聚焦于单一技能本身的漏洞,忽视了跨技能交互带来的威胁。该论文提出“技能级联攻击”这一全新威胁范式,揭示了攻击者如何利用看似独立隐蔽、各自无害的恶意技能,在智能体组合调用时引发连锁危害,拓展了多技能智能体生态的安全研究边界。
评估可解释人工智能(XAI)方法一直面临缺乏可靠评估程序及真实解释基准(ground truth)的挑战。现有评估通常仅测量解释与黑盒模型预测之间的忠实度(fidelity),但这仅量化了解释复现模型输出的程度,无法确保其真实反映底层的决策过程。为此,该研究提出了一个合成真实基准框架,旨在解决不同解释方法难以进行客观真实度评测的难题。
本研究提出了一种基于图神经网络(SchNet)预测跨膜蛋白拓扑结构的新方法。与传统仅依赖蛋白序列或α-碳骨架特征的方法不同,该模型直接利用全原子级嵌入特征进行拓扑推断。在与DeepTMHMM相同的基准数据集上进行5折交叉验证,研究表明在不使用任何预训练权重的情况下,GNN在该任务上表现出良好潜力,展示了3D结构信息在蛋白拓扑预测中的应用价值。
针对离散扩散模型在奖励最大化对齐中主要依赖单向引导逆过程、缺乏回溯修正机制的问题,研究人员提出了 Spectral Feedback(谱反馈)算法。该方法在反馈循环中自适应选择编辑位置,利用离散扩散模型的掩码结构进行重新掩码和重采样,使模型能够在推理阶段迭代修正自身生成结果,有效提升了蛋白质设计等任务中的对齐表现。
来自全球22个研究团队联合推出了BioEVAL基准,旨在评估大语言模型和多模态模型在生物工程领域的实验推理能力。该基准覆盖11个主要生物工程子领域,重点突破以往评测偏重事实召回的局限,提供达到博士水平的复杂实验与前沿任务推理评估。
本文提出了Benchy,一个用于AI程序基准评测的语义规范语言与执行引擎。Benchy将基准测试形式化定义为由程序、评分函数和数据集构成的三元组B=(P,S,D),实现评测套件与被测AI系统的解耦。基准采用规范YAML编写,基于共享的任务/领域本体,可确定性编译为规范JSON中间表示并由引擎执行,为任务型AI评测提供了标准化、可复现的通用基础设施。
针对微型机器学习(TinyML)神经架构搜索计算开销巨大的难题,论文提出低保真度评估框架TGL-NSGA-II。该方法基于进化搜索仅需可靠比较候选模型优劣而非精确适应度值的洞察,利用预训练教师模型根据样本难度与类别进行分层抽样,再通过短周期的轻量知识蒸馏(KD-Lite)在压缩数据集上快速训练候选网络并排序评估,大幅降低了端侧资源受限环境下的搜索成本。
针对生产环境中智能体在动态实体(如客服工单、账户等)操作时的评测难题,传统基于参考答案的 LLM-as-a-judge 方案常因参考案例与实际运行实体的标识、日期等不同而误判为幻觉或错误(即参考与实例分歧 RID)。为此,研究人员提出 CARGO 评测框架。该框架将检索到的历史参考样本视作“操作流程范例”,同时结合实时运行上下文进行事实性判定,从而显著提高了生产环境智能体评测的鲁棒性与准确率。
一篇arXiv预印本论文探讨了LLM智能体在模拟个体社交媒体反应时的保真度问题。研究通过问卷调查、深度访谈和书面自述对8名塞尔维亚受试者进行画像构建,记录了他们对68条社交媒体帖子的真实反应,并测试了4个语言模型预测这些反应的能力。研究指出,相比过度复杂的推理,“少思考”的直觉式提示(Intuitive Prompting)反而有助于智能体更好地契合设定画像并模拟个体社交反应。
针对现有基准测试难以反映企业实际部署复杂度的问题,研究人员提出了 HARDEN 方法。该方法利用约束进化搜索技术,在保持预期输出答案不变的前提下,沿特定领域复杂度维度对评估输入进行改造,同时严格遵循任务语义、真实性与执行有效性约束。在 FinQA、PubMedQA、ContractNLI 基准及不同规模 Qwen3.5 模型上的实验表明,该方法能有效提升评测难度并暴露模型在复杂场景下的局限性。
随着大语言模型架构在序列推荐中的广泛应用,原本用于文本处理的旋转位置编码(RoPE)也被引入。然而,NLP 中的 RoPE 仅基于 token 索引编码相对次序,无法反映推荐交互中实际流逝的时间、多尺度行为周期及日历相位。为此,研究人员提出 T-RoPE(时间感知 RoPE),将传统基于索引的相对位置替换为显式的时间维度建模,以增强生成式推荐模型捕捉用户随时间变化兴趣演进的能力。
该论文研究了音频大语言模型(Audio LLMs)在输入语音严重失真时,能否识别出自身转录结果不可靠。实验发现,如果直接通过提示词让模型评估自身转录的可靠性,模型的判断表现很差,在绝大多数情况下都会盲目自信地预测转录是可靠的,这揭示了语音交互大模型在面对低质量输入时存在自我认知盲区的问题。
该论文提出了“LLM帕金森综合征”(LLM Parkinsonism)这一比喻,用以描述自主智能体在达成初始目标后仍持续无效行动、反复验证或修复自造复杂性,导致Token效率低下的执行控制失效现象。研究指出该问题源于全局执行控制与不确定性评估机制的缺失,而非单纯自回归预测机制所致,并据此设计了一种具备不确定性感知能力的全局执行控制架构,以改善长程任务下的智能体决策收敛。
大模型在推理阶段的“测试时思考”虽能提升决策逻辑,但其激增的算力成本能否转化为实际经济效益仍存疑。最新arXiv论文从经济学投入产出视角,对DeepSeek、GPT和Gemini系列模型展开了为期一年的受控交易实验。在固定信息、提示词和投资组合策略的前提下,研究通过调节推理算力预算,量化评估了扣除交易成本与推理开销后,长思考链能否真正带来更优的投资回报。
针对“系统一”单次前向决策模型(如 Laya)在面对信息缺失时倾向于盲目猜测的问题,研究人员提出了 LAVOIR(带信息价值路由的 Laya)。该方法将候选缺失信息槽位直接置于输入端与选项并列,使得模型在单次前向传播中不仅能输出决策分布,还能同时计算每个槽位对正确决策概率的预期增益,从而教会模型在何时以及主动询问何种关键信息。
在医学影像等医疗场景中,智能体(Agentic AI)系统的自主错误容易向临床决策下游传播,阻碍实际部署。为此,研究人员提出 CRC-Router,一种兼顾风险约束与不确定性感知的新型路由模块。该机制通过可靠的不确定性评估,动态决策何时由智能体自主执行任务,何时将病例上报给人类医生进行复审,从而在提升医疗通量与降低临床风险之间实现平衡。
编程智能体在执行任务时往往消耗大量 Token 带来高昂成本。该研究针对 Claude Code 和 Mini-SWE-Agent 在 SWE-bench Verified 上的 1200 条运行轨迹进行分析,识别出包容性重复检索、相似脚本重复生成及测试重复执行三大成本低效行为。研究进一步提出了结构感知检索、智能体自合成技能与开发者设计技能三种缓解策略,并在超 1 万条轨迹中验证了其降本效果。
针对多智能体大模型工作流中盲目执行规划、验证等所有组件导致算力浪费甚至覆盖正确中间结果的痛点,该研究提出了“学会跳过”(LW2S)框架。论文将组件省略形式化为反事实信用分配问题:利用全流程日志获取轨迹奖励,并结合受控的跳过干预评估省略后续步骤的后果,进而训练特定动作的安全模型。该方法使智能体能够动态判断并跳过非必要环节,在保证任务准确率的同时显著提升执行效率。
在有限带宽预算下的生成式图像通信中,Token选择直接决定解码后的重建质量,但准确评估每个候选Token的终端价值需反复模拟接收端重建,导致编码端计算开销巨大。为此,研究团队提出ACV-Gate自适应候选评估框架,通过学习近似全预算反事实评估,并仅对最具信息量的候选Token进行精确评估,有效平衡了传输优化与计算成本。
现有生物医学语言模型虽能编码文本语义,但难以显式保留医学代码的层级结构。研究团队提出HCOE(双曲临床本体嵌入)方法,将冻结的BioBERT特征映射至庞加莱球空间,结合双向本体引导的对比学习与粗细粒度本体路径聚合,有效融合了ICD疾病代码与ATC药物分类等层级关系,提升了临床概念表征的层次感知能力。
随着实时语音智能体从研究走向实际部署,其评估标准仍割裂在语音基础模型、轮次转换心理语言学与智能体基准三个领域之间。架构论文常关注延迟,轮流对话研究关注预测准确度,而智能体基准则侧重任务成功率,缺乏统一评价体系。该论文通过梳理38篇核心文献,提出了系统性的三维评估证据链框架,旨在为实际部署的实时语音智能体提供从单点性能到落地效果的全流程评估方法。
针对多智能体系统中将重复主张误认为独立证据、导致错误信念在共享记忆库中扩散和放大的问题,研究团队提出了“相关晋升基准”(Correlated Promotion Benchmark, CPB)。该基准旨在评估系统是否应将候选主张接纳至共享记忆中。CPB 包含基于公开标注构建的静态评测集 CPB-Static,以及跟踪多智能体团队实时读写与信息源的动态评测环境 CPB-Live,为多智能体协作中的记忆安全与知识管理提供了标准化评估工具。
该研究探讨了预测智能体在结合大模型推理、信息检索、集成与校准时,各决策行为在何时具备可靠性。研究人员在ForecastBench风格的二元预测任务上,将智能体选择检索、推理、参考市场先验或采用历史类比等策略视为可观测行为并展开压力测试。核心结论显示,机制的最优选择高度依赖于数据生成源,结构化类比在特定数据流程中占据主导,而市场群体策略与保守基线在其他情境下表现更优。
研究人员提出了面向时间序列预测的 TW3Cast 系统。在 GIFT-Eval 基准评测中,该系统在 130 个方案中取得平均 MASE 排名第三的优异表现,仅次于两款基于智能体或语言模型的复杂多步骤系统。与依赖智能体的方案不同,TW3Cast 完全不使用智能体或语言模型,而是基于训练集一次性计算并冻结路由选择表,直接调度轻度微调的公开基础模型专家,在 97 种数据与预测配置下实现了极具竞争力的高效预测。