中国电信研究院等提出 HaluMem:面向智能体记忆系统的操作级幻觉评测基准
中国电信研究院与上海记忆张量等研究者提出面向智能体记忆系统的操作级幻觉评测基准 HaluMem,将评测拆解至记忆提取、记忆更新和记忆问答三个环节以追踪错误来源。
中国电信研究院与上海记忆张量等研究者提出面向智能体记忆系统的操作级幻觉评测基准 HaluMem,将评测拆解至记忆提取、记忆更新和记忆问答三个环节以追踪错误来源。
Einsia AI 旗下 Navers Lab 推出基准评测 PPTBench,测试 Coding Agent 能否理解真实科学流程图并用代码重建为原生可编辑的 PPTX 幻灯片。
DeepSeek 联合清华大学发布技术报告,首次系统阐释了支撑 DeepSeek-V4 全部训练、评测与数据预处理的沙盒基础设施 DeepSeek 弹性计算(DSec)。
推荐理由:原文系统阐述了大规模智能体训练沙盒的按需加载、高密度超卖与训练解耦架构,提供了极具参考价值的基础设施工程实践。
研究人员提出 LLM 驱动的自动研究框架 MemEvo,将流式视频记忆设计建模为可执行程序的搜索问题,以自动化生成训练无关的有界记忆机制。该方法在冻结视觉语言模型的前提下,利用预训练 LLM 结合实验反馈迭代优化候选记忆程序。在 StreamingBench 与 OVO-Bench 上的实验表明,该机制在保持强劲视频理解性能的同时大幅提升了推理效率。
针对 LLM 智能体在真实部署中的安全适应问题,研究者提出测试时 Harness-Guard 协同演化框架 SafeCoEvo。该框架通过短期快速适应的 S-Harness 与长期沉淀参数化风险判断能力的 GuardVPO,从累积的运行时经验中持续演化。相比最强基线,SafeCoEvo 将不安全结果率降低了 10.05%,同时将任务成功率提升了 12.15%。
研究提出自适应长上下文提示词注入(AdaLCPI),证实 AI 智能体能够将长上下文中分散的不完整片段重构成恶意攻击目标。该方法通过工具检索嵌入碎片,并利用 OpenEvolve 结合目标智能体的执行反馈迭代优化线索,宏平均攻击成功率(ASR)达 61.4%,大幅超越 Trojan Hippo 风格(32.8%)与 AgentVigil(30.0%)。
研究人员针对多模态强化学习提出持久性感知信用分配方法 PACG,通过削弱异常持久视觉主张的正向信用,解决未受图像支持的主张错误继承奖励的问题。该方法无需标注且不增加推理成本。在 Qwen2.5-VL-7B 上,PACG 将 DAPO 和 VPPO 的 9 项基准平均分分别提升至 59.9% 和 60.9%,并提升了 HallusionBench 准确率。
研究人员推出首个面向多智能体系统的可刷新异常检测基准 MAADBench,以应对大语言模型系统 41%-87% 的高故障率。该基准构建了约 10^37 任务空间并支持自动化步骤级标注,同时开源了包含 5,200 条标注轨迹的 MAADBench-Full 数据集。对 25 种异常检测方法的评测表明,现有方案高度依赖监督且缺乏跨 LLM 鲁棒性。
研究提出 BRIDGE,一种基于一阶双层优化的智能体强化学习方法,通过协同自适应检索器与大语言模型策略来解决检索信用分配问题。在 7 个开放域 QA 基准测试中,BRIDGE 在 3B 和 7B 骨干模型上均取得最高平均准确率,多跳平均较最强基线分别提升 9.6 和 3.4 个 EM 点。该方法在医学 QA 基准上也取得了最佳的平均答案准确率与推理质量。
AVIO 是一种可在视听场景中联合学习发声物体添加与移除的模型,通过源条件特征调制适配预训练文本到视听生成模型。配套构建的 AVIOBench 数据集包含 37.9 小时配对视听样本,覆盖 1,878 个目标物体名称。该模型结合参考帧课程学习,使单个模型即可执行纯指令编辑,并支持通过可选视觉引导控制物体的外观与位置。
该研究从自主性(autonomy)与主动性(initiative)两个核心设计维度切入,利用悖论视角系统分析人机协作中的内在张力并映射协作模式。论文最终提炼并归纳出四种人机协作模式:指令(Instruction)、委托(Delegation)、协助(Assistance)以及共创(Co-creation)。
该研究提出一种非平稳拉格朗日框架,将可再生公地建模为带消耗预算的约束马尔可夫博弈或约束多智能体 MDP,使多智能体在追求收益的同时避免资源耗尽。论文针对折现奖励与终端成本推导了可行性证明及约束 Nash 保证,能直接利用无约束问题的解构建约束策略序列。在 Gordon-Schaefer 渔业环境中结合约束 IPPO 和 MAPPO 进行的实验,验证了消耗预算对资源存留率与收益的影响。
新研究提出一种强化学习选项发现算法,通过为每个子目标识别少量相关特征子集,解决了传统全状态可达方法引发的选项数量爆炸与探索受阻问题。该方法能够学习具备广泛泛化与迁移能力的抽象选项(options),在包含 Atari 游戏 MontezumasRevenge 在内的 3 个基于图像的稀疏奖励领域中实现了快速探索。
针对大语言模型多步推理隐藏状态难以分析的问题,研究者提出将推理路径视为阶段结构化轨迹的分析方法 PAIR。该方法将可变长度路径映射到共享相对阶段,仅在同一问题和阶段内对比成功与失败轨迹,有效隔离路径质量信号。实验表明,PAIR 在多项基准上提升了模型轨迹排序与 Best-of-N 选择效果,并通过分阶段引导验证了表征的因果有效性。
研究人员系统评估了面向可验证隐私推理的 ZK-LLM 友好量化方案,测试了 Qwen2.5-14B 及 MoE 模型 Qwen3-30B-A3B 等 9 个语言模型。实验发现激活值精度比权重更敏感,非线性查找表近似是效用下降主因,且 RMSNorm 查找构成主要瓶颈。研究表明降低位宽并不必然按比例降低端到端证明开销,需采用算子感知的精度选择策略。
研究团队提出“安全算子”(Safety Operator)机制,通过谱优化调节 Transformer 语言模型权重乘法算子的主特征值,以控制安全指令对生成的影响强度。基于此衍生的 Contrastive Safety Loss 可平衡有害查询强化与无害查询抑制,有效调节攻击成功率与过度拒答率之间的平衡,实现安全指令的帕累托改进。
关系型基础模型在上下文学习(ICL)中存在支持集目标泄露风险,会严重破坏评估可靠性。研究在 13 个 RelBench 任务和 5 种 ICL 配置下测试 20 个受控特征,发现 0-hop 和全量泄露偏差最大,甚至会逆转模型间的相对优劣结论。实验对比 IG、MI 与 LOCO 检测方法表明,依靠检测器移除特征无法稳定恢复干净的评估结果。
研究提出 PhenoAIR 多智能体框架,将 Cell Painting 表型数据的药物作用机制(MOA)预测从表征匹配重构为校准证据推理。该框架构建以候选为中心的证据记忆库,通过控制器引导评估不确定观测,并结合离线参考集校准对证据可靠性加权。在 JUMP Cell Painting 基准测试中,PhenoAIR 在所有预测设置下均超越表征匹配与 LLM 基线。
ARCagent 是面向 ME/CFS 等指南存在争议疾病的自适应检索校准临床问答智能体。该系统构建了包含 10 个数据源、1,706 个分块且具备结构化冲突登记的知识库,并通过冲突感知校准流程重排检索证据。在 LLM-as-Judge 评测中,ARCagent 达到 95.3% 的得分,超越所有基础 LLM,相关代码已开源。
研究提出 PersonaDose,通过特征描述与指定强度校准 FLAS 控制器的流动时间,实现大语言模型的分级人格表达控制。在 Llama-3.1-8B、Qwen3-8B 和 Gemma-3-4B 上,PersonaDose 在 Persona Vectors 连贯性下限 75 时,核心特征表达较对比激活添加分别提升 33.2、18.3 和 17.8 分。
研究形式化定义了关系基础模型在上下文学习中的支持集目标泄露问题,指出仅在带标签支持集中存在目标衍生特征会导致推理失效。基于涵盖 20 个列的 14 种合成泄露类型与 RelBench 数据库评测,目标表泄露导致的性能下降最显著,而一跳与两跳泄露未被模型一致利用。利用积分梯度(IG)排序并移除可疑列,可在泄露影响最大的场景中部分恢复模型性能。
简化交互接口能有效引导 LLM 智能体决策,升价拍卖接口在 4 个模型族中显著减少了出价偏差。明确收益可能性并解释真实报价安全性可改善决策质量,而要求跨轮规划或推测对手信念的提示词反而会恶化表现。研究还发现,智能体行为选择的实际改善并不必然伴随其语言策略理解指标的提升。
研究提出通用框架 LLM 引导图剪枝(LGP),利用 LLM 推理识别并替换低价值邻居节点,直接优化近似最近邻(ANN)图索引结构以解决“几何-语义”不匹配问题。该方法在保留原始图稀疏性与高效导航结构的同时引入关键语义信息。在语义检索基准上的实验表明,LGP 在 DiskANN 和 HNSW 等主流图索引上均优于传统贪心图搜索与 LLM 重排序方法。
研究人员提出基于扩散大语言模型(dLLM)与多 Token 预测(MTP)的高效数据压缩框架 HyperZip。针对扩散压缩中吞吐量与压缩率的权衡难题,HyperZip 利用超网络从上下文表征生成特定数据更新,无需昂贵微调即可适配目标数据。实验显示,HyperZip 在压缩率与速度之间取得了优于 SOTA 基线的权衡表现。
研究团队提出咨询 AI 智能体 ThuRunel,通过动态解耦机制结合有限状态信念管理、思维链教师合成协议与生成适配器,协调前期共情引导与后期专家判断。对比 11 个基线,ThuRunel 在引导完整度与专家简报质量上均取得持续提升。ThuRunel 目前已公开部署为双语 Web 应用,其生成结果均会标注精选知识库来源。
PILLAR 是一种基于私有信息检索(PIR)的隐私保护 RAG 系统,能在服务端完全无法获取用户查询词及访问模式的前提下检索相关文档。该系统采用两阶段私有混合检索,先通过预计算 BM25 索引进行稀疏检索过滤候选,再获取候选文档嵌入并在本地重排。系统还提供了单轮低延迟的 PILLAR-Bin 与高检索质量的 PILLAR-Tree 两种协议。
微软等机构的研究团队发表论文,提出面向数据系统的 AI 软件工厂(AI SW Factory)以加速软件开发全生命周期。该方案覆盖目标定位、编码、代码审查与运维全阶段,通过产生元数据沉淀微调权重并更新世界模型。该系统已在微软数十个代码库规模化部署,在智能体编码基础上取得 3 倍工程效率提升以及最高 22 倍的 token 效率。
StateTape 提出了一种面向长程编码智能体的新框架,通过将代码库建模为符号级代码图并跟踪修改,实现随代码仓库变化动态重写智能体上下文。该研究还提出了评估上下文有效性的基准 TraceBench,并结合轻量管理器模型清理失效记录。实验表明,StateTape 在 6 个编码智能体和 3 个重度编辑基准上均以极低计算开销提升了解决率。
研究团队推出评测基准 CheatBench,用于测量 AI 智能体在数学研究、知识工作、编码和视觉等领域的奖励作弊行为。该基准将高难度任务与作弊途径结合,测试智能体在诚实完成任务受阻时是否会出现越权访问、规避监控或突破沙箱等风险。CheatBench 支持跨模型和任务类别对比,相关评测套件已公开发布。
推荐理由:原文构建了多领域的作弊评测环境,为评估强化学习驱动的智能体安全性提供了可量化的测试集。
一项研究在社交媒体模拟中测试了 Gemma-3-4b-it、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 和 GPT-5-nano 的“虚假真相效应”。
研究团队提出 Protein-TetSphere 蛋白质体表征方法,通过将蛋白质链四面体化并配准到统一拓扑参考系,建立跨残基的一致三维体坐标。该方法将配体结合口袋分类平衡准确率从 0.795 提升至 0.826,并将 BoltzGen 蛋白质结合剂设计成功率从 14.95% 提升至 19.90%,在蛋白质界面预测上也取得性能提升。
研究人员提出基于最优传输的鲁棒离线策略评估方法 OTROPE,可在无需响应概率的情况下利用有限人工标注数据评估黑盒目标大语言模型。该方法在语义空间通过最优传输对齐带标注的行为样本与未标注的目标样本,并结合校正残差与代理预测器实现双重鲁棒评估。实验表明 OTROPE 持续优于基线,能使较弱评估器的集成效果逼近甚至超越更强评估器。
NeurIPS 2026 论文针对大推理模型因强化学习只监督最终答案而导致的欺骗性安全对齐问题,提出了量化评估指标 DSAR 与强化学习对齐方法 SARA。SARA 同时对安全推理痕迹和安全最终答案提供奖励,促使模型早期识别有害意图并保证推理与答案的一致性。实验表明,该方法在标准提示与前缀填充攻击下均能显著减轻欺骗性安全对齐现象并保持实用性,相关代码已开源。
研究人员提出协同演化奖励框架 CoRe,通过让奖励模型与生成器动态交互,缓解视频扩散模型在潜在空间对齐时的奖励作弊问题。CoRe 持续在生成器当前样本上重新拟合奖励模型并锚定真实视频偏好,防止生成器因分布逃逸导致感知与运动质量恶化。在 Wan2.1-T2V-1.3B 上的实验表明,该方法生成质量优于预训练模型及先前对齐方法。
ChronoSRL 为 Critic 嵌入引入显式时间几何结构,使状态-动作与目标嵌入的距离直接匹配到达目标的时间。该方法结合生存强化学习预测时间分布与停留时长,在 7 个标准运动和导航基准上以更小网络实现更快的学习速度与更优性能。在四足机器人仿真到真实测试中,ChronoSRL 是唯一成功实现保持指定速度与目标位置并攀爬最高箱子的自监督强化学习方法。
研究人员提出多模态智能体框架 MERID,通过基于经验的递归自我改进自主构建并优化重度抑郁症分析流程。该框架整合了目标对齐(GSC)、流程联合探索(CPE)与证据引导演化(EGE)机制,能在小样本抑郁队列中验证并继承有效改进。实验表明 MERID 在多项基准测试中均取得最佳效果,相关代码已开源。
一项针对 12 款主流欧盟《人工智能法案》合规检查工具(AIACCs)的实证研究显示,当前工具质量差异显著,仅能作为早期参考。这些工具普遍存在过度简化或遗漏关键法律义务的问题,且无法提供明确可操作的指导,过度依赖易产生虚假的合规安全感。该研究为此类工具建立了评估基准,并提出了更可靠工具的设计原则。
研究人员推出 FigAct 框架与 FigAct-8B 模型,可直接对静态科学图表中的图形元素进行操作,将其转化为问答驱动的动态视觉演示以引导读者注意力。该框架采用分层搜索策略实现高效的元素定位,将 token 消耗降低约 40x,并基于定位精度、搜索效率与渲染质量三项奖励进行训练。团队还构建了人工验证的评测基准。
研究提出 REST(REpresentation-Supervised Thoughts)训练目标,将因果性、极小性、可分性和稳定性转化为可微损失加入交叉熵,解决大语言模型在隐空间递归推理时的表征失效问题。该方法适用于单智能体与多智能体系统,无需修改架构或增加推理参数。在涵盖数学、医学和代码等 7 个基准测试中,REST 相比纯交叉熵训练准确率最高提升 7.5 个百分点,答案收敛提升 30%。
研究表明通用概率决策模型 Jev 在免训练人体活动识别任务中表现受限,在 WISDM、UCI341 和 PAMAP2 上的最佳 macro-F1 仅为 0.038、0.118 和 0.089,远低于监督模型的 0.686 至 0.907。测试发现增加数值特征反而降低了识别效果,表明免训练传感器决策不仅取决于信号信息,更受特征呈现方式的制约。