机制可解释性揭示脑机语音解码器中的共享因果子空间
研究人员利用机制可解释性的激活补丁技术,揭示了脑机语音解码器处理发声、模仿和想象语音时的内部表征机制。实验发现跨模态增益来自小神经元群而非单个神经元,且这些神经元在解码器早期具有模态特异性、后期则高度重叠。该发现表明可通过强化后期共享表征,主要利用发声数据提升隐匿语音解码的数据效率。
研究人员利用机制可解释性的激活补丁技术,揭示了脑机语音解码器处理发声、模仿和想象语音时的内部表征机制。实验发现跨模态增益来自小神经元群而非单个神经元,且这些神经元在解码器早期具有模态特异性、后期则高度重叠。该发现表明可通过强化后期共享表征,主要利用发声数据提升隐匿语音解码的数据效率。
研究团队提出面向异构 LLM 智能体的轻量级步骤评估方法 GLIDE,无需外部验证器或特定任务监督即可提升任务性能与步骤排序质量。GLIDE 通过分层残差一致性提取内在步骤证据并完成分布校准,转化为悲观奖励用于 MCTS 分支选择,同时利用归一化预测不确定性指导自适应分支。多跳推理、序列决策与符号逻辑实验表明,该方法有效提升了计算效率。
拉格朗日神经网络与哈密顿神经网络被证实可成功应用于具有显式时间依赖性的耗散系统。研究人员通过带阻尼的一维谐振子模拟系统测试发现,两种网络方法均能预测系统的实际物理行为,并在不同程度上有效学习底层的拉格朗日量和哈密顿量。这项研究同时揭示了拉格朗日与哈密顿力学在显式含时系统中的重要物理特性。
研究人员提出 SkillDelta 框架,通过对比同一 AI 智能体在使用与不使用技能时的成对历史执行数据,在无需重新训练智能体的情况下预测特定任务的技能增益。在 5 个基准测试和 3 个目标智能体的 15 种设置中,SkillDelta 相比随机激活技能在全部设置下均提升了任务成功率,平均绝对增益达 4.3%,有效避免了无效技能带来的性能损耗与额外 token 成本。
研究提出一种评估子空间演化的新不稳定性度量,揭示了神经网络训练中 Hessian 矩阵与梯度协方差矩阵顶层子空间的稳定性机制。通过对梯度协方差矩阵进行类间与类内分解,研究给出了两者 top-$(C-1)$ 子空间的显式近似形式。在梯度流设定下,该稳定现象被证明源于 Hessian 矩阵离群特征值与主体特征值的分离。
研究人员提出免预填充跨家族 KV cache 传输方法 HeteroFold,在保持发送端与接收端模型完全冻结的前提下,解决了异构多智能体 LLM 协作时的分词与表征差异。
研究提出模型铸造(Model Casting)训练策略与低参门控(LoPA Gating)架构,通过大幅稀疏化前馈网络(FFN)激活来减少推理计算量。在同等模型质量下,LoPA Casting 实现了 3.2x 的 FLOP 加速,显著优于 top-p 与 TEAL 等竞品方法最高 1.6x 的表现。
研究人员提出有损智能体记忆系统 LAM,通过检索分数误差界限去重规则、保留缓存前缀的内存管理及压缩性能模型来控制历史长度。在 600 条智能体轨迹测试中,LAM 删除了 22.47% 的 observation tokens,同时保留了 99.984% 的 gold-patch 证据。通过在 prefill 前移除记录,性能模型预测可实现 71.4x-91.6x 的端到端加速。
针对分布偏移下的时间序列预测,研究人员提出一种模型无关的在线鞅 PAC-Bayes 校准框架,可在时间依赖下提供有限样本理论保证。该方案在固定预测主干上训练门控残差贝叶斯预测头,采用先预测后更新机制,在门控关闭时可回退至主干预测。在卷积、注意力机制及基于 LLM 的预测器实验中,该方法均提升了协变量与概念偏移下的稳定性和准确率。
研究者提出主动智能体不确定性路由框架 PROUR,使工具调用大语言模型在执行(ACT)、用户澄清(CLARIFY)与环境验证(VERIFY)之间动态路由。在 $\tau$-bench 的零售与航空领域评测中,PROUR 取得 28.17% 的平均成功率,较此前最优方法提升 4.57% 且交互减少 2.17 步,并能直接泛化至更强的任务智能体与 $\tau^3$-bench 交易场景。
研究团队提出在策略注意力线性化方法(OPAL),通过让混合注意力学生模型采样长上下文轨迹并接受冻结的全注意力教师模型密集监督,解决蒸馏模型在长序列中的状态漂移与性能崩溃问题。
算子学习在直接学习周期轨迹时容易失效,原因是频率差异随时间累积导致目标相位随参数剧烈变化,产生预测 MSE 下限。未对齐轨迹即使在分布内也泛化较差,且固定物理时间窗口模型在超出训练范围的周期上误差显著。研究提出将对齐归一化波形与周期分别解耦学习,在 ODE 与 PDE 实验中均成功规避了这两种失效问题。
一项入选 NeurIPS 2026 的研究提出一种通用框架,通过超体积转换将标准单目标采集函数与对冲策略直接扩展至多目标贝叶斯优化(MOBO)。该方法对现有贝叶斯优化流程改动极小,避免了复杂的专用公式设计,并保留了计算效率与可解释性。在合成与真实基准评测中,其优化性能与样本效率持续匹敌或超越更复杂的 SOTA MOBO 方法。
研究者提出干预分离选择(ISS)方法,可在观测等价因果模型中通过主动干预排除矛盾候选,认证幸存模型在成本限制内与真实系统的一致性。针对连续变量,该方法利用混合整数线性规划精确判定停止条件。在三位数彩色 MNIST 因果抽象任务中,ISS 平均每张图像仅需 13.6 次干预即可完成网络因果抽象的认证。
研究人员提出一种缓存感知 Conv3D lowering 优化方法,将因果 Conv3D 调用表达为批处理空间 Conv2D 操作,以提升嵌入式端世界模型的运行效率。
研究人员提出针对近地轨道(LEO)卫星星座的资源感知型联邦学习框架 COSMIC-FL,用于实现高效的星载学习。该框架结合 Sliced 与 Modular 两种 MoE 架构以及语义专家路由,并整合分阶段优化与三类结构化剪枝策略,使卫星仅训练和传输与本地数据相关的专家路径。
RAO-Nav 提出了一种利用全模态语言模型(OLM)实现零样本语义视听导航(SAVN)的部署流程。该方案引入测试时潜在导航推理(LNR)模块,在无需任何训练数据的情况下,在公开 SAVN 基准测试中超越了现有的 SOTA 基线。研究还提出了全局导航指令设定以进一步评估具身智能体能力,并已开源代码。
研究人员构建了一款双语 AI 听力师,在无需微调底层大语言模型的前提下,结合量规引导剧本归纳、多模态听力图解读与 RAG 技术。在包含 58 个模拟病例的双盲对比中,该 AI 在全部 58 个病例及 21 项评估维度的 20 项上均超越 17 位执业听力师,5 分制综合评分平均提升 +1.35 分。
研究人员推出评测基准 ROTE,用于评估神经网络架构在复杂度受控符号序列下的精确记忆与规则扩展能力。该基准利用 LZW 压缩调节序列复杂度,通过教师强制单步预测与闭环 rollout 对门控循环、注意力机制及混合架构进行评测,并综合记录字符串距离、训练时间与显存占用。相关软件与可复现实验代码已公开。
Fracast-0 是一款利用时间自相似性实现跨尺度权重复用的时间序列概率预测基础模型,仅含 85,001 个参数。该模型通过无参数检测器提取季节结构并复用局部模块,最终输出 9 个分位数预测。在无需微调的 97 个 GIFT-Eval 评测中,它是 28 个参评模型中最小的一个,取得 MASE 0.808 与 WQL 0.564,参数量比 TinyCast 减少 42.0%。
一项针对 Qwen3 模型的研究揭示了大语言模型后训练中 SFT、RLVR 与在线策略蒸馏(OPD)的协同机制,指出各阶段的效果高度取决于师生兼容性。实验表明,结合教师 RLVR 适配与学生 SFT 预热,可将平均 OPD 准确率从 29.2% 提升至 43.8%(相对提升 50%)。此外,OPD 比 SFT 能为下游 RLVR 提供更优的初始化,且该优势随算力扩展而扩大。
研究团队推出基于 2D 网格的交互式规则解谜基准 WITNESS,用于评估智能体在无先验规则下通过实验推断隐藏规则并达成目标的能力,18 款前沿模型在私有测试中最高仅解决 24% 关卡。
研究者提出 Dreamer 风格的世界模型框架 CyberWorld,通过向量、图和文本等表征学习潜变量动态,实现高样本效率的自主网络防御。在 4 种 CyberWheel 攻击策略评测中,基于图的 CyberWorld 仅需 3.6k-15.8k 环境步骤即可超过对照基准,远优于无模型 PPO 所需的数百万步。当网络规模从 15 增至 100 台主机时,达标所需轮数仍基本保持恒定。
研究提出在在线策略上下文蒸馏(OPCD)中使用针对常见错误的通用指令特权,以替代样本专用的标准答案。在基于 ProverQA、ProofWriter 与 ProntoQA 数据集以及 Qwen3-Thinking 和 Olmo3-Thinking 模型的 8 组实验中,匹配指令特权在 7 组中的 OOD 准确率领先标准答案 4 到 17 个百分点,且领域内表现相当。
研究人员提出模块化执行层 FARE,利用深度强化学习与 CTR 预测不确定性感知,无需重新训练底层黑盒模型即可实现声量份额(SOV)公平曝光推荐。该方法将受限排序建模为类似算法金融受限交易执行的问题,通过将不确定性引入状态空间来实现更优调优。
CoMemBench 是一个用于评测多智能体工作流拓扑中协同记忆共享与隔离的基准。该基准基于依赖图构建了跨 4 个领域的 800 个复合工作流,用于评估工作流完成度、节点进度、交接可靠性、隔离鲁棒性及 token 成本。实验表明系统存在共享与隔离的权衡,且系统排名会随拓扑结构和工件冲突发生变化。
研究人员提出扩散模型在线微调算法 DOHF,将 Doob $h$-变换转化为实用的在线训练框架。该方法为生成样本赋予最优性权重并估计局部修正,直接蒸馏至生成模型中,且无需额外网络评估即可兼容黑盒与不可微奖励。DOHF 在三种实证场景下均提升了模型对齐效果,适用于统计采样与视觉生成任务。
AI Harness 研究刻画了基础模型智能体在模型-工具边界处“提议-历史”相关性对安全认证的必要性。论文证明,若将模型生成的语义提议坍缩为仅基于状态的包络会破坏系统可认证性,而直接观察提议能分离冲突的潜在模式以恢复鲁棒可行性。受控模型在环测试进一步复现了去除遥测或限制干预权限时的理论阻碍。
研究团队提出 TemporalGraphLLM 框架,可将任意时序图神经网络(TGNN)与大语言模型(LLM)结合,以增强动态文本属性图的推理能力。该方法通过感知图时序的指令微调和新型 TGNN 注入机制,使用图嵌入向量替代专用 token。在真实动态图数据集评测中,该框架在边分类、链路预测及基于边的文本生成任务上均达到 SOTA 性能。
一项基准研究评测了 A2C、PPO、DDPG、TD3 和 SAC 五种深度强化学习 Actor-Critic 方法在标普 500 股票交易中的表现。DDPG 取得最高的 55.5% 年化收益率与 1.38 夏普比率,TD3 和 SAC 则以 1.37 与 1.33 的夏普比率及约 25% 最大回撤实现更优风险收益平衡。
研究提出 NTRL-Code 测试期强化学习框架,仅使用测试阶段的无标签噪声数据即可实现代码大语言模型的鲁棒自我演进。该框架通过保守自去噪获取语义锚点,利用基于 AST 的结构聚合机制估计代理目标,并结合格式有效性、代码相似度与抗重复的混合奖励优化策略。在包含字符级、词级和段落级扰动的 3 个基准测试中,NTRL-Code 显著稳定了多种基础模型的预测表现。
PastForward 系统通过细粒度复用任务执行中的计算经验,有效加速端侧 GUI 智能体的 VLM 推理。该系统在解码时检索历史输出序列作为多 token 提议并在单次前向传播中验证,同时跨动作步骤提前推理并传递可复用的 KV 状态。在 AndroidWorld 基准测试中,PastForward 在保持任务成功率的同时实现了 1.63-2.36x 的端侧单步延迟加速。
针对熵正则化 Gromov-Wasserstein(EGW)计算中的收敛难题,研究提出了平均镜像下降(AMD)算法,并证明了其在任意成本函数下均能保证收敛。该研究还证明了采用固定步长的对偶梯度方法在任意成本下同样收敛,且两种方法均支持实际应用中的非精确迭代。实验表明,AMD 与对偶梯度法在经典镜像下降算法失效的场景下均能成功收敛。
READ-Bench 是面向多元时间序列诊断的历史案例检索评测基准,涵盖 12 个诊断数据集,以共享故障或事件类型定义检索相关性。评测显示预训练表征在基础检索中并未显著优于经典与符号基线,关键增益来自重排阶段的高斯过程重排器。最终融合方案在全部 12 个数据集上均取得提升,NDCG@10 相比最强单一基础检索器提高 +0.16。
研究提出关系压缩(Relational Compression)框架,在经典“源-描述-重构”范式下将关系结构作为核心保真内容,为受限表征建立了统一表述。该框架整合了图摘要、谱稀疏化、相似性保持表征与关系知识蒸馏等方法,明确了各自的重构与资源假设。研究还开发了有限码字碰撞机制作为具体实现,并在图与图像任务中验证了其互补路径。
研究提出一种基于热激活势垒的物理模型来解析大模型 Best-of-N(BoN)越狱攻击,仅用 4 个可解释参数即可确定包含增强数 N、采样数 M 和生成温度 T 的完整攻击面。该模型纠正了攻击成功率(ASR)遵循幂律的传统假设,能将 N ≤ 100 的预测外推至 N = 10^4,并成功将 5 个不同模型的数据收敛至同一缩放函数。
研究人员利用表格基础模型结合社会经济数据,针对法国开展了提前 1 至 48 个月的中期电力负荷预测。基于 20 年负荷、气象及经济数据测试,新特征选择管道构建的专家模型集成使 2015-2025 年预测技能提升 20%。该方案将月度和日度粒度的平均绝对百分比误差分别限制在 4% 与 5%,且经济特征重要性随预测跨度延长而增强。
研究将 Jacobian lenses 应用于 Mamba-1、Mamba-2 与 Mamba-3 的残差流和循环状态,发现联合读取在所有测试检查点的至少 5/6 类任务中提升了中间概念恢复率。在 Mamba-2 上,仅循环状态在全部 6 类任务中均优于残差透镜与 logit lenses。新提出的符号保护转向在 5 个模型中提高了目标 Top-5 成功率,证实循环状态是工作空间内容的互补载体。
Seq2Cause 框架利用单个无需重训练的预训练自回归模型作为摊销条件独立性测试引擎,解决了事件序列中的四项因果发现任务。该研究证明模型的额外交叉熵可直接约束因果识别误差,令下一 token 预测的提升同步增强因果保证。在包含 29K 事件类型与 474 种故障结果的车辆诊断日志等场景中,其首次实现单冻结骨干的大规模因果发现。
研究团队推出测试平台 GameBoyWorlds,用于评估 AI 智能体在无示范与奖励环境下的自主自我提升能力。其包含涵盖 5 个游戏系列共 500 项短程任务的 Execution 子集,前沿模型开箱完成率不足 50%;Playthrough 子集则测试两款宝可梦同人游戏的端到端通关。实验表明,配备多模态记忆与分层子目标的高级智能体管线仍未能达成首个主要里程碑。