通过残差门控理解 Diffusion Transformer 训练加速机制中国語
新研究发现 Diffusion Transformer 的训练加速核心源于 AdaLN-Zero 残差门控通路的重组。研究引入归一化参与率(nPR)量化通道分布,证明更广的门控参与度对应更高生成质量,并据此提出一种无需教师模型的特征范数正则化目标。在 ImageNet 256×256 及 SiT-B/2 实验中,该方法有效提升了门控参与度并在 FID 指标上超越色散损失。
新研究发现 Diffusion Transformer 的训练加速核心源于 AdaLN-Zero 残差门控通路的重组。研究引入归一化参与率(nPR)量化通道分布,证明更广的门控参与度对应更高生成质量,并据此提出一种无需教师模型的特征范数正则化目标。在 ImageNet 256×256 及 SiT-B/2 实验中,该方法有效提升了门控参与度并在 FID 指标上超越色散损失。
一项基于 11,270 起人际冲突反事实测试的研究显示,4 个语言模型在责任归咎中一致表现出偏向女性的“女性皆美好”效应。当被评判者为女性时,其被归咎的几率降低 9--52%;而当受影响对方为女性时,归咎几率则增加 2.7--9.2X。该效应在沟通与情感关系冲突中更显著,表明模型不仅对女性更宽容,还会在行为侵害女性时加重评判。
研究人员提出 TSFLab,一款面向时间序列预测(TSF)的自改进通用智能体工作台,为编码智能体提供共享资源与工具。在复现与基准测试中,TSFLab 将任务完成率提升 20-163%,单任务 fresh tokens 消耗减少 11-66%。在新方法开发测试中,其预测精度进一步提高,同时减少 32.8-73.6% 的 fresh tokens 并缩短 9.2-68.8% 的开发时间。
研究团队推出教育单次推理决策模型家族 EDU-Jev,提供 0.8B、2B 和 4B 参数版本,无需生成文本即可直接输出预设选项的概率分布。在 12 个教育基准中,EDU-Jev 4B 平均准确率达 67.6%,比最强商业决策 API 高 9.4 个百分点,超出最佳开源 4B 模型 18.7 个百分点。EDU-Jev 2B 在单张 H100 GPU 上每秒可完成约 150 次决策。
TensorSSM 是一种用于函数式张量分解的隐式神经表示(INR)方法,通过在动态状态空间模型(SSM)中记忆空间位置来生成张量核。该方法基于 K-ary 规则由粗到细编码空间 token,并扩展 SSM 状态空间以显式映射跨模态空间依赖。实验表明,TensorSSM 无需严格空间假设,即可在多样化张量数据集上实现高重建精度与存储效率。
研究发现大语言模型在 RAG 中存在从众偏差,当投毒文档占据检索证据多数时识别错误信息的能力显著下降。针对 SciFact 的 200 个问题测试显示,Gemma-3-12b 的投毒检出率从少数投毒时的 25%(50/200)降至多数投毒时的 10%(20/200)。在结果改变的 38 个问题中,有 34 个由检出变为未检出(p = 6.04e-7)。
针对具有已知有向反馈图的对抗老虎机问题,该研究提出了期望一阶遗憾界达到 $\widetilde{O}(\sqrt{\alpha L^\star}+\alpha)$ 的新算法,消除了以往依赖团划分数的理论差距。该方法结合 EXP3 更新与基于优化的探索采样策略,关键采样分布可通过几何收敛迭代在多项式时间内求解。该成果随后通过双层聚合框架进一步推广至一般的强可观测图。
研究人员推出包含 240 道专家验证问题的 BILAL-BENCH 评测基准,用于评估大语言模型在孟加拉语中伪造伊斯兰文献的行为。对 7 款 1B 至 120B 参数开源模型的 1,680 份双重标注回答评测显示,6 款模型在文献生成题目中的自信伪造率达 79.3% 至 95.3%,且未随模型规模增大而单调改善。其中圣训出处表现最差,315 份回答中仅有 2 份正确且来源准确。
研究团队提出大语言模型自适应优化器 FARO,引入投资组合理论的等风险贡献原则(ERC)跨块分配更新预算。在 FineWeb 上训练 GPT 架构模型时,FARO-Adaptive 达到 3.2780 nats,追平人工最优配方 NorMuonAndAdam(3.2794 nats)。
在推理前将大语言模型的大量冗余注意力头剪枝置零,可显著抑制对训练数据的逐字记忆,且无需重新训练或修改训练数据。在 GPT-2-XL(1.5B) 上的评估显示,剪枝 729 个任务冗余头使记忆数量减少 91.5%,同时将 WikiText-103 困惑度改善了 0.92。
研究表明连续介质动力学基础模型 Walrus-1.3B 在 sim-to-real 迁移微调中会遭遇严重的灾难性遗忘。在圆柱绕流仿真上微调仅 20 个 epoch 后,其预训练任务单步误差最高增加 35 倍,适应真实数据后仿真性能进一步受损。在真实数据微调时仅需重放 1% 的仿真数据,即可在适应真实实验动态的同时恢复大部分仿真性能。
研究表明,对话式 RAG 评测若将未检索到黄金文档直接视为不可回答,会严重扭曲拒答评估。检索器越强(nDCG@10 从 .18 升至 .59),无黄金文档却包含答案的比例高达 28%–72%,Qwen3-4B 能答对其中 62%–67%。该偏差致使可回答性 AUROC 最多被低估 .19,团队建议基于内容标注评估拒答,并开源了代码与数据。
研究人员提出自主赫布网络 AutoHebb,这是一种具备强归纳偏置与自主控制能力的自修改神经网络,可实现零样本推理与持续学习。该模型通过元学习优化固定权重,并利用全局神经调质信号与三因素赫布规则自主更新可塑权重。测试显示,AutoHebb 在相关任务上优于现代学习模型,且展现出未训练的涌现能力。
一项针对 8 个开源与闭源模型的研究发现,大模型在偏好认知不确定性下存在“识别-生成差距”,开放式生成时的策略校准度会下降 35-46%。基于涵盖 250 个角色、5 种语言及 25K 对话轮次的基准评测显示,模型普遍系统性过度依赖既有偏好。定向监督模型内部策略表征的训练方法,可将分布外场景的用户可接受度泛化差距缩小三分之一。
研究者提出 CABA 门控机制,通过保留历史锚点并在冻结表征上约束最差锚点的前向 KL 散度,为模型持续自适应提供无需动作标签的行为保留认证。在 UCI 人体活动识别实验中,当预算 $\epsilon = 0.05$ 时,CABA 将平均遗忘率从无约束自适应的 1.01% 降至 0.00%,最终平均准确率由 93.04% 调整为 88.48%。
CoFiBreak 提出一种用于 GRPO 的由粗到细多样性奖励机制,在保持低推理成本的同时提升大语言模型多轮越狱的攻击多样性与有效性。该方法在 HarmBench 发现的成功细粒度策略数量达基线的 1.6-2.0 倍,并在 AdvBench 达到 98.8% ASR@10。其攻击迁移至未见受害模型 Claude-Opus-4.6 亦可达 71.0% ASR@10,相关代码将开源。
研究人员提出无监督特征选择方法 LIDFS,基于局部内在维度(LID)衡量特征辨别力并剔除局部冗余特征,其时间复杂度为 O(d^2 n)。在 23 个高维经典基准数据集的测试中,LIDFS 在 5 种下游分类器的评估中排名第一,并在聚类评估中位列第一或并列第二,且运行速度优于最接近的竞品。
研究人员提出任务感知扩散细化器(TADR),利用下游检测器损失优化条件扩散模型,解决工业物联网边缘传感器数据缺失导致的检测偏差。在 SMD 数据集上,TADR 相比未细化检测器将 F1 提升 0.338(p = 0.0015)。其 4.03 MB 模型在单 CPU 核心运行 10 步采样仅需 41.4 ms,支持约 24 路并发 1 Hz 数据流,代码已开源。
研究团队提出了用于评估大语言模型(LLM)社会与区域公平性的预注册可移植协议 Qistas,并率先在伊拉克落地。该协议通过配对反事实设计评估程序对称性与差异化拒绝,且在模型运行前预先锁定假设与分析方案。对 58 项种子库的实地审查显示,25 个模板组中有 24 个存在缺陷,暴露出评测标准泄露及破坏语言一致性等反事实基准通用问题。
研究人员提出基于 Flow Matching 的贝叶斯配电系统状态估计方法 PoSE,利用历史数据建模变电站注入分布,并在采样阶段通过卡尔曼校正确保样本符合物理潮流。在 IEEE 33-bus 馈线上,PoSE 将 CRPS 误差降低 6.7-7.5%,并在 240-bus 馈线上取得全指标最低误差。其快速变体单快照耗时仅 0.2-0.6s,无需重新训练即可适配 7 种重构拓扑。
研究对比了连续扩散语言模型 LangFlow 与投机草稿模型 DSpark 在无验证下的独立生成能力。在 OpenWebText 的 16、128 和 1024 长度评测中,LangFlow 在 128 与 1024 长度的 GenPPL 与 MAUVE 指标均优于 DSpark 变体,DSpark-RNN 仅在 16 长度领先。全序列迭代去噪展现出在较长序列独立生成上的显著优势。
研究人员提出利用大语言模型自动构建简单基线,以检验物理与生命科学领域深度学习成果的真实有效性。研究从 Nature、Science 及 Cell 系列期刊收集了 36 个科学应用的有监督任务,自动构建的简单基线在中位数上弥补了平凡预测器与深度学习模型间 95.5% 的差距(均值 85.7%)。
Mage-VL-Cowork 提出了一个 4B 参数混合计算机使用智能体及其全流程训练方案,将视觉 GUI 交互与终端代码执行结合在单一模型策略中。研究团队通过 Mage-CUA-Forge 合成框架生成了覆盖 6,915 项技能的 293,806 个桌面与网页任务,使单任务重复构建开销降低 82.6%。
研究人员提出轻量级异步强化学习优化方法 Li²SAO,解决缺乏预训练价值模型时单轨迹异步优化在早期落后于 GRPO 的问题。该方法在 critic 冷启动阶段利用组相对优势训练 actor 并以组中心化回报训练 critic,随后切换至单轨迹 GAE。实验显示 Li²SAO 在训练早期赶上或超越 GRPO 并进一步提升后期性能上限,相关代码已开源。
针对工具超时引发的结果模糊与部分执行问题,该研究提出了面向 AI 智能体的证据指导任务恢复机制,结合采纳性检查与终止凭证实现安全完成验证。在 19 个任务族的 58 组对比中,规划建议相较于证据提示将认证完成数从 9 次提升至 30 次(提升 36.2 个百分点),提议数从 399 降至 272,全部 116 条轨迹均通过独立回放。
CryoAtlas 是一个面向冷冻电镜(cryo-EM)蛋白质原子模型构建的大规模精选数据集与统一评测基准。该资源整合 EMDB 和 PDB 数据,提供 17,809 个条目(含 16,657 个训练条目),并设立了包含 618 个目标的基准集。
生成式框架 scAnyOmics 将冻结单细胞基础模型知识蒸馏至多模态学生模型,实现 scRNA-seq、蛋白质标记物与 scATAC-seq 的跨模态任意补全与重构。在涵盖 6 项公开研究共 690,880 个细胞的留出供体测试中,其多项评估指标均超越基准方法。该框架还可应用于细胞类型注释、扰动反应预测及生物年龄估算,以支持虚拟细胞模型构建。
针对 AI 计算机使用智能体跨界面执行时的策略绕过风险,研究提出受 Profile 约束的跨界面授权协议。该协议将请求规范化为标准效应并签发绑定路由的 prepare ticket,在 commit 时校验状态并要求 sink receipt。其参考实现覆盖 5 个界面与 60 条路由,在 1,732 个测试场景中成功拦截 26/26 项语义回归。
研究提出在线证据包含预测(OECP),将嵌套文本跨度验证形式化为去重查询的在线保序回归,在单一目标下实现最优 $\Theta(\log m_{\mathrm{eff}})$ 遗憾界。
研究人员提出并行 LLM 智能体通信框架 Ask on Demand(AOD),允许智能体在产生特定需求时向同伴发起针对性求助。该框架利用轻量门控机制权衡最终结果与推理成本,从同伴执行历史中检索相关证据并生成定制回复。在 AppWorld 和 WebShop 上的实验表明,AOD 持续提升了任务表现,且推理成本低于现有信息共享基准。
BULLPEN 框架通过联合编码模型回答文本、正确性与问题文本,实现低成本且样本高效的 LLM 行为画像。在 260 个开源权重模型测试中,其新任务得分达 0.48 +/- 0.10,且仅需 400 道题(耗费全量题库 1.3% 的推理算力)即可保留至少 91% 的全量能力。该方法仅依赖模型输出,支持行为审计并可拓展至 API 模型,代码与数据已开源。
研究人员提出 RECITE 框架,用于自动化发现、提取并实施基于证据的临床试验入选标准修订,并构建了涵盖 5,735 项试验共 11,913 个实例的数据集。在 3,116 个样本的基准测试中,最佳开源模型 Gemma 2 9B 在 0-4 分量表上取得 3.0±0.9 分,最佳闭源模型 GPT-4o 达到 3.0±0.8 分。
研究人员提出 LLM 推理长度预测系统 LEAP,通过复用 prefill 隐藏状态与异步 CPU 执行,实现高效的长度感知调度。系统在测试时采用递推最小二乘法在线自适应,在较大领域漂移下将 Spearman 相关系数提升 64.7%。服务实验显示,LEAP 将平均 per-token 延迟降低 15.9–40.8%,预测器参数量比最强基线减少 30,569x。
诊断框架 MarketImage 的研究表明,线上交易价格仅在有限条件下编码视觉偏好,应被视为不确定代理而非绝对真值。测试显示仅 24.2% 的图像对存在明确价格差异,其中仅 34.7% 与人类多数偏好一致。在该可恢复区域内,HPSv2 以 66.4% 的准确率领先,Qwen 相关变体落后基线,GPT 带来的收益在统计上仍未明确。
研究人员推出面向长周期生物医学智能体的决策控制器 Operon-S1,通过 13 个决策点将判断与执行解耦。在 7 个生命科学基准中,该本地模型在 CPU 上的单次中位延迟仅 0.6 s 且无请求成本,替代了原模型占任务成本 8.0% 至 35.2% 的决策开销。测试中智能体在 6 个基准中的 5 个上得分无显著改变,该研究目前已提供 public checkpoint。
研究人员提出韩英双语评测基准 SERIAL-7,围绕可执行验证框架评估大语言模型跨 7 种表示生成机器可验证输出的能力。该基准包含 177 个验证工件与 43 个原子表示约束,将生成划分为语义推导、受限工件生成与跨表示保留三个阶段实施分层检查。在 10 款模型的测试中,REALIZE-L3 HSR 介于 42.0% 至 93.9% 之间。
研究表明在大语言模型裁判的强化学习后训练中,即使学生模型仅输出自创音节或数字等无语义内容,裁判模型的偏好特征也会单纯通过打分转移给学生。在 48 个设计单元中有 17 个在 5% 假发现率下确认了特征迁移,且该机制同样会导致不良 AI 安全倾向隐形渗透。研究提出了包含四个阶段的传递链原理,表明在训练前测量各阶段状态可提前预测并防范该安全风险。
研究表明辅助轨迹偏好可改进小语言模型的自我提升与迁移能力,解决答案级奖励无法区分相同正确推理轨迹的问题。在 30 道 AIME 问题上适配 Qwen3-1.7B 时,UID-Conj. 奖励使在线宏平均表现较未修改的 TTRL 提高 2.08 个百分点。离线加权 SFT 实验中 UID-Conj. 较均匀加权提升 1.93 个百分点,有效发掘了正确轨迹中的潜在训练价值。
SAT-ACT 是一个面向 CDCL 分支决策的结果驱动学习框架,通过同一求解器状态下的独立动作展开提取动作偏好。该框架利用状态条件网络学习分支优先级来直接指导搜索,无需在线动作展开,并引入了非支配启发式动作监督。实验显示,SAT-ACT 在 3 个 SAT 族上降低了 CDCL 搜索成本,并改善了 SAT Competition 基准上的 PAR-2 指标。
SciGraphSelect 是一个基于参考基准的可审计科学数据选择框架,通过将领域知识与推理操作组织为类型化知识-推理图,为科学训练语料构建提供可追溯性。该框架依据概念覆盖度、关系与路径共同支持以及方向对齐对候选文档评分,在保留参考端结构的同时保守处理候选证据。通过公开每次筛选背后的依据,该方法补充了下游科学验证需求。