持久化前先划定范围:防止智能体记忆中的跨任务族干扰
该研究探讨了大语言模型智能体的持久记忆机制,旨在不更新权重的前提下持续改进提示与技能。研究发现,将检索范围与认证范围精确匹配,能有效防止跨任务族的干扰,支持在重复出现的任务族中实现可靠适应。研究人员在12轮代码修复数据流ProcStream-RSI上对冻结模型智能体进行了测试,并使用基于执行的正交回归控制门控机制,证实仅在技能生成的原始任务族内检索该技能,可显著提升轨迹效用。
该研究探讨了大语言模型智能体的持久记忆机制,旨在不更新权重的前提下持续改进提示与技能。研究发现,将检索范围与认证范围精确匹配,能有效防止跨任务族的干扰,支持在重复出现的任务族中实现可靠适应。研究人员在12轮代码修复数据流ProcStream-RSI上对冻结模型智能体进行了测试,并使用基于执行的正交回归控制门控机制,证实仅在技能生成的原始任务族内检索该技能,可显著提升轨迹效用。
该研究针对大语言模型智能体在复杂工具使用任务中的技能自我进化问题展开探索。论文指出,复杂任务通常存在多种有效解题路径,失败轨迹往往也包含前期的有效进展而非全盘皆错。因此,研究提出不应将失败轨迹强行与固定成功路径对齐或进行粗粒度反思,而应精确定位有效求解向错误偏离的转折点,通过偏差引导的方式实现智能体技能的高效自我进化与演进。
本文介绍了基于智能体的文档处理(Agentic Document Processing)技术。该方案借助AI智能体自主执行端到端的文档业务流程,旨在解决传统自动化难以应对的复杂工作流挑战。内容重点阐述了该机制的核心运行原理,并为企业和开发者如何启动并落地此类智能体自动化应用提供了实践指导。
当前营销领域常使用大语言模型构建“虚拟人设”以预测真实受众对文案的反应。本研究基于Upworthy研究档案中数千次真实流量点击率A/B测试作为基准,开展了从模拟到真实的有效性检验。实验对比了基于真实人口统计特征构建的10人虚拟人设面板与无角色设定的基准模型,结果显示,无角色基准在文案效果模拟上的表现反而击败了基于人设的模拟,对当前AI受众模拟的有效性提出了质疑。
神经影像数据分析通常需要专业的编程与统计技能,这给非计算背景的研究人员带来了门槛。为此,研究团队推出了“AI神经科学家”,这是一种用于交互式数据探索的语言智能体。该系统将大语言模型与神经影像专业工具集相结合,支持研究人员直接通过自然语言查询数据质量、执行建模与可视化并设定分析参数,为小规模数据探索提供了一种替代传统脚本处理流程的透明且交互式的解决方案。
该论文指出当前大模型智能体在社交决策(如是否互动或联系谁)中,往往仅关注内容显著性而忽略人际间的潜在关系(如关系强度、互惠性等)。现有的智能体循环无法根据新关系证据动态调整社交假设,导致在关系与内容线索产生分歧时做出表面化选择。为此,研究团队形式化了这种失效模式,并提出了包含500个样本的关系推理基准测试及ReAdapt方法,以提升智能体的社交推理能力。
该研究指出大模型在多轮对话中的交互失败不仅源于上下文记忆丢失,更深层的原因在于“过早后验坍缩”。即在用户初期意图尚不明确时,模型便过早锁定了某种单一的隐藏假设,导致后续用户给出的澄清信息仅被视为对既定假设的微调,而非彻底纠错。研究团队使用 Gemini-2.5-P 在写作、规划和代码任务中设计了可控实验,系统验证了这一导致模型难以调整错误方向的固有机制。
该研究探讨了大模型思维链(CoT)在生成最终答案时的因果约束力。作者提出了“基于续写的因果测试”方法,通过扰动某一推理步骤、截断链条并强迫模型基于被破坏的前缀继续生成,用以量化CoT对答案的“承重性”(load-bearingness)。在Gemma-2、Llama-3.1和DeepSeek-R1蒸馏模型上的多项基准测试表明,CoT的因果承重性与任务难度密切相关,简单任务中CoT往往流于形式,而在难任务中则切实主导推理方向。
该研究探讨了基于失败案例的文本知识蒸馏方法,旨在通过分析任务错误来发现模型的知识漏洞。研究定义了在推理时注入输入的独立“规则原子”,指出其虽然能编码可迁移的任务知识,但也可能包含特定于原模型的推理补丁,从而在跨模型迁移时产生干扰;此外,注入的规则还可能被错误应用于不相关场景并引发误判。(注:原文摘要末尾未完)
面向推理的大语言模型强化学习能显著提升多步推理与代码能力,但轨迹生成(Rollout)阶段也承担了极高的训练计算成本。如何在保障训练数据新鲜度、一致性与统计有效性的前提下提升 Rollout 效率,已成为当前优化的核心课题。本综述对近年来面向推理的强化学习 Rollout 效率研究进行了系统梳理,从底层机制和性能瓶颈等维度对现有优化方法展开分类,并指出了未来的发展方向。
针对检索增强生成(RAG)系统的安全漏洞,该研究指出当前架构对动态检索流水线的依赖带来了新型对抗风险。现有知识库投毒攻击大多采用静态预设注入,未考虑受害系统在面对具体查询时的实际检索内容。为此,论文探索了具有检索感知的投毒机制,分析攻击者如何利用特定源反驳等手段在竞争性检索环境中提升攻击效果,揭示了RAG系统潜在的安全隐患。
针对大语言模型容易受对抗性群体共识影响而产生盲从(阿谀)现象的问题,研究人员提出了对比认知解码(CED)。不同于依赖弱辅助模型的传统对比解码,CED在单模型架构上通过双重前向传播来隔离从众偏见。该方法引入了新型非对称零边界概率钳位和离散Top-k截断掩码,在数学上抑制有害的从众Token生成且避免语法崩塌,为零样本推理阶段的模型自主性提供了有效干预手段。
基于大语言模型(LLM)的用户模拟器常用于推荐系统评估,通过设定偏好属性(交互内容)与行为活跃度特征(浏览时长)来模拟真实用户。研究发现,模拟过程中这两种特征设定的独立性会失效:一是产生特征干扰,过高的活跃度会打破偏好边界,迫使模型与不匹配内容交互以维持浏览;二是导致评估失效,满意度评分会随着活跃度驱动的页面数量虚假膨胀。
该论文针对自动定理证明(ATP)中微调大语言模型的对齐问题展开研究。当前大模型常作为树搜索的引导策略,而传统交叉熵损失在搜索场景下并非最优。将对齐策略拓展至树搜索具有较大挑战,因为证明发现过程高度依赖监督演示中未包含的偏离轨迹状态的探索与恢复。为此,作者拓展了相关计算对齐方法以直接优化搜索生成器。注:由于原摘要结尾截断,更多技术细节尚未完整披露。
现代大语言模型智能体大多依托于由模型与工具调用构成的核心循环(Agent Loop)运行,但处理记忆增强与自我改进等复杂工作流时,通常依赖复杂的额外工程系统。为此,研究团队构建了极简智能体框架JAZ,旨在探索仅依靠最基础的循环机制,在多大程度上能够替代并完成此类专门系统的任务。由于原文摘要结尾存在截断,关于JAZ具体暴露的接口与机制细节仍有待全文披露。
该论文针对大型语言模型多元对齐中价值观冲突的问题,研究了可控模型如何在竞争性目标间平衡权衡。多目标直接偏好优化(MODPO)通过目标权重覆盖连续权衡区间,本研究探讨了模型何时可同时提升两个目标,以及如何避免为每种权衡单独训练模型。基于HelpSteer和UltraFeedback的七组目标测试,研究提出了可预测目标冲突的预训练测量方法,以实现更高效的多元对齐。
该论文针对Python生态中因版本不兼容与包缺失导致的“依赖地狱”问题,提出了混合依赖修复管线PLLM+。该方法在包含2891个报错片段的HG2.9K基准上进行了验证。PLLM+在调用大语言模型前,优先执行低成本确定性策略,包括基于AST的静态解释器推断、历史成功配置重放以及实时PyPI验证,随后结合LLM进行精准修复,有效提升了真实代码的执行成功率。
该论文探讨了多模态大语言模型在图像或语音与伴随文本发生冲突时的偏好机制。针对以往文本偏置研究中证据顺序固定或指令位置变化导致成因不明的问题,研究团队采用配对比较法,在固定指令与证据内容的前提下仅互换两类模态信息的输入顺序。实验覆盖视觉与语音模型,发现将图像或音频置于冲突文本之后会持续改变模型判定,证实了模型处理冲突证据时存在显著的顺序敏感性与不可交换性。
思维链(CoT)监控通常假设模型生成的推理过程真实反映了得出答案的计算机制。以往评估推理真实性的指标主要停留在行为层面,即通过修改推理文本来观察输出变化。该研究提出一种在激活层面测量自生成推理真实性的因果分析方法。与以往仅评估性能衰减的因果审计不同,该方法通过带有已知反事实目标的激活干预,验证每一次干预是否能将答案切换至特定的反事实实体,从而精确评估推理步骤的因果支撑度。
一项针对大语言模型内部计算机制的研究显示,开源数学模型在处理问题时更倾向于按可复用的“推理方法”而非传统的“学科主题”组织内部计算。研究团队提出了一种“生成-重放协议”,先由模型生成解题步骤,再重放完整的提示词与生成轨迹,借此提取推理 token 的激活重要性特征并进行无监督聚类。该研究为理解 LLM 如何在内部表征和执行数学推理提供了新的可解释性视角。
针对企业利用大语言模型进行合规、风险及运营决策时对证据验证、审查路由与可审计性的高要求,研究人员提出了Policy-as-Skill(PaS)模块化运行时框架。该框架将上述功能打包为可执行且具备版本控制的策略能力。在基于固定模型后端的600项开发任务评估中,PaS+Audit方案取得了53.8%的准确率、100%的引用精确度与审计完整性,在绝大多数治理与合规指标上超越了传统LLM+RAG架构。
该研究针对泛化规划中方案完备性难以形式化验证的问题,提出了一种基于大语言模型(LLM)的新框架。此前利用 LLM 生成 Python 代码形式泛化规划的方法,只能依赖人工评估来确认其是否能解决领域内的所有实例。为此,研究团队提出利用交互式定理证明器 Lean 自动生成泛化规划,并同步产出基于领域约束规范的完备性数学证明,实现了对泛化规划正确性与全域覆盖能力的机器可验证保障。
该研究探讨了大型语言模型多智能体辩论(MAD)中的通信拓扑问题。针对当前学术界倾向于设计复杂、自适应或动态重构交互拓扑以提升推理准确率的趋势,研究团队深入审视了稀疏通信机制。论文提出“相异对等随机路由”方法,旨在探究是否真的需要复杂的拓扑控制,证实简单的稀疏通信即可在显著降低成本的同时实现极具竞争力的推理性能,为优化多智能体交互架构提供了更具成本效益的新思路。
针对长流程大语言模型智能体积累海量交互历史带来的效率挑战,现有压缩策略通常独立评估单条记录,忽略了组合删除所引起的冗余或累积信息损失。为此,研究团队提出了直接关系集合风险修剪(DRSR)框架。该方法将智能体历史上下文压缩建模为基于删除集合的风险约束选择问题,从集合层面综合评估删除风险与保留信息,在保障决策安全与任务表现的前提下,实现了长程智能体的高效修剪。
该技术报告介绍了开源大语言模型Hunyuan-A13B。该模型采用混合专家(MoE)架构,总参数量为800亿,推理时仅激活130亿参数,有效兼顾了模型性能、计算效率与部署成本。模型在经过严格清洗且强化STEM领域的20T token语料上进行预训练,并结合高质量SFT与大规模强化学习,同时引入了双模式思维链(CoT)框架,显著提升了事实可靠性与逻辑推理能力。
随着大语言模型智能体处理长程任务的需求增加,扩展其强化学习训练亟需多样化环境与可靠奖励信号。针对现有生成管道在环境动态与事后评估对齐上的缺陷,研究提出VHD-Play框架。该方法颠倒了传统的构建依赖关系,首先对数学模型进行采样与求解,再通过基于语料的设置器将其决策过程渲染为具备状态的可执行工具环境,为智能体强化学习提供了低成本、可验证的交互环境生成方案。
针对平台运营商依赖系统提示词和微调来规范模型行为但可靠性存疑的问题,该研究提出了覆盖成功率(OSR)和“对齐惯性”概念,用于量化后验干预能否有效覆盖先验训练习得的行为。研究在医疗虚假信息和仇恨言论场景下,对 Llama 和 Mistral 模型测试了零样本提示与 LoRA 微调效果。结果显示对齐惯性普遍存在,且其表现因模型架构、应用领域及策略导向的不同而存在显著差异。
针对传统自动化红队测试依赖固定提示词、无法根据测试反馈动态调整的问题,研究人员提出了CART闭环自适应红队测试框架。该框架能够利用前序测试结果动态引导后续测试方向,在初始广泛覆盖风险的基础上,深入追踪暴露的脆弱点并保持探测多样性。CART解耦了测试挑战者、被测目标(支持纯文本模型及工具调用智能体)与评估裁判三类角色,实现了更高效动态的大模型安全风险探测。
真实环境下的分子设计对大语言模型智能体提出了极高要求,需要其理解复杂上下文、满足多重约束并进行多步工具推理。针对现有基准偏向狭窄约束和单一路径的问题,研究人员提出了MolDesignBench。该基准紧密贴合实际分子设计场景,可系统评估工具增强型LLM智能体在处理多约束、不可行规范识别及多步工具调用下的综合推理与设计能力。