鲁棒性始于目标:设计与验证鲁棒的 LLM 生成启发式策略Chinese
研究人员提出 TAILOR 框架,通过成对条件风险价值(CVaR)引导 LLM 合成系统启发式策略,解决平均性能指标掩盖极端工况退化的问题。在 Azure GPU 批处理准入、Azure VM 装箱等 7 个优化基准测试中,TAILOR 在 6 个基准上以 99% 置信度同时改善了平均性能与尾部最优差距,尾部表现超越人类设计的鲁棒方案。
研究人员提出 TAILOR 框架,通过成对条件风险价值(CVaR)引导 LLM 合成系统启发式策略,解决平均性能指标掩盖极端工况退化的问题。在 Azure GPU 批处理准入、Azure VM 装箱等 7 个优化基准测试中,TAILOR 在 6 个基准上以 99% 置信度同时改善了平均性能与尾部最优差距,尾部表现超越人类设计的鲁棒方案。
研究者重构了用于精确依存句法分析的矩阵算法 Bock,保留原始节点与弧身份,并证明其在精确算术下与原版 Bock、Tarjan 算法具备操作等价性,且与 CL/E 最优值等价。重构后的 Bock 算法被集成至 biaffine 依存句法分析器中,在 Penn Treebank 和 Chinese Treebank 上完成了解码与结构化训练评估。
研究人员构建了低资源语言 Tetun 医疗问答数据集 Labadain-MedQA,利用 Gemini 2.5 Flash 翻译生成了 39,077 个医疗 QA 对。在 325 道 Tetun 版 USMLE 评测中,经 QLoRA 微调的 Gemma 4 12B 平均准确率较基座模型最高相对提升 10.79%。该项目的数据集、模型及评估资源均已开源。
研究人员针对 System One 决策模型提出人口偏见审计协议,在 12 款模型及 1,638,000 次决策中评估了 BBQ、CrowS-Pairs 和 SilverSpoon 基准。测试发现模型普遍存在刻板印象对齐与顺序敏感性,选项置换会导致 0.0% 至 72.6% 的选择翻转,且 BBQ 中 97 项显著评分有 94 项与偏见对齐。研究建议审计默认置换选项,并将顺序无关评分作为采购标准。
研究团队推出针对系统 1 决策模型的认知实验基准 S1CogBench,通过 24 项认知任务评估模型在直接输出决策时的能力边界。评测覆盖 5 款开源模型与 Jev,发现模型间可靠性差异显著,高速度主要源于无需生成文本直接输出决策,且表现良好并不意味着能预测人类行为。该基准为软件检验决策是否响应证据、反馈与记忆负荷提供了首个测试方案,代码已开源。
研究提出利用边际极大似然拟合 Beta 混合分布,仅需单次拟合即可在闭式解下直接计算任意跨度的 Pass^k 与 AUC@k,并推导出无需额外模型调用的 delta-method 置信区间。在竞赛数学与研究生级科学基准测试中,该方法外推表现优于朴素估计,且置信区间覆盖全量数据参考;将其扩展至提示词敏感度分析时,估算精度同样优于同类基线。
研究人员提出评测基准压缩方法 BestRand,在保留随机采样效率的同时显著降低高误差长尾风险。该方法在 70+ 个文本、多模态和智能体基准上验证,相比竞品将高误差风险降低 50.2%、平均估计误差降低 16.4%,且仅需 51.3% 的构建成本。此外,其 OOD 估计误差平均降低 21.8%,相关代码与数据已公开发布。
一项针对 2.7B-7B 小语言模型的研究评估了 72 种压缩配置,揭示了量化、剪枝与微调恢复的交互规律。测试显示 INT8 量化可减少 40-45% 内存且精度损失低于 0.5%,NF4 结合 L1 剪枝会导致模型崩溃,而 LoRA 微调可恢复高达 97% 的退化困惑度。在端侧 CPU 部署中,4-bit 量化比 8-bit 提速 46-54%,非结构化剪枝则未带来延迟或内存收益。
对 Llama-3.2-1B 等 1.2-1.7B 模型的研究发现,深度剪枝会导致函数调用和数学推理能力彻底崩溃(保留度仅 0.00-0.07)。后续微调修复中,全架构添加低秩适配器相比仅微调最后三块最高可多保留 0.18 的能力。在同等训练 token 预算下,延长均匀微调的效果匹敌或优于复杂的规划分配策略。
Exo 提出了一种智能体运行时架构,将优化循环融入任务执行中,使智能体在运行时能修改 harness 和策略以自我改进。在开放世界游戏中,Exo 相比 Codex 和 Pi 将模型成本降低 12-53% 且完成率相当;在 AppWorld 和 SREGym 上降低 35-61% 的模型成本,并分别缩短 13% 的任务时间和 35% 的诊断时间。
研究人员提出解耦 RAG 框架 ShiftRAG,利用单一 LLM 主干将判别式检索学习与自回归生成隔离,以突破传统 RAG 的文本瓶颈。该框架将检索对齐映射为连续软 token 注入生成器,并通过软正交目标缓解 rank collapse。实验表明,ShiftRAG 显著提升了检索与问答性能,且在通用文本编码和生成任务中保持了效率与基础能力。
一项针对14款大语言模型在4个医疗基准上的评测研究发现,模型在标准多选下的高分严重依赖选项提示,一旦隐去选项,平均准确率从82.3%骤降至50.9%,且两款医疗专用模型跌幅最大。在标准测试中,小模型平均落后大模型8.7个百分点,仅有两款通过执业医师考试基准;记忆污染测试显示最强模型可仅凭选项反推25%的题目,但在不可反推题目上仍能维持准确率。研究还对比了准确率与推理成本,并验证了多模型集成的表现。
研究提出自适应策略蒸馏(APD),通过逐 token 门控动态将 rollout 偏向教师模型并切换至 forward KL 目标,解决闭卷知识注入难题。在无需标注或验证器的情况下,APD 相比 on-policy 蒸馏(OPD)性能提升最高达 54.6%。该方法在 QASPER 上取得 0.558 F1,在 BioASQ 上取得 0.486 MRR 的最佳表现。
针对 LLM-as-a-Judge 评分与人类评价的分布偏移,研究者提出流式分位数匹配(SQM)方法,通过计算两者分布间的最优传输映射进行事后校准。实验表明,SQM 尊重人类锚定集的序数特性,在多项模型与数据测试中取得了最佳分布保真度并位列综合排名第一。该校准还缩小了小模型与大模型裁判间的原始误差差距。
研究人员提出自引导推理器 SSR,通过将特权教师分布投影至学生模型局部可达空间,利用可达性对齐自蒸馏解决难题采样受限问题。在大量 RL 后 pass@64 为 0 的难题上,SSR 无需更新参数即可为 74.6% 的问题找回正确且可学习的轨迹。在相关轨迹上微调并继续 RL 后,模型在 AIME25/26 和 HMMT26 上的综合准确率提升了 4.9 个百分点。
研究人员提出人机协同全机制设计框架,解决人类判断易受 AI 呈现方式影响以及部署时查询成本变化的问题。该方案基于结果不可区分性的高效上下文老虎机 boosting 变体,将校准条件规约为加权校准以规避高维诅咒。在 3 种人机协同场景评测中,该方法无需重新训练即可适配不同查询成本与目标,表现相当或优于基线。
研究人员提出 CheXPoT 框架,通过程序思维(PoT)执行事后视觉验证,以消除 VLM 生成放射学报告中的模型幻觉。该框架借助 RadGraph 与 LLM 分解报告谓词,结合 DenseNet-121 和 Grad-CAM 视觉证据表剔除缺乏依据的内容并重写报告。
研究表明单层 Transformer 模加法傅里叶电路在训练后呈现非共形畸变与局部定向反转,而非理想共形映射。在 5 个关键频率下,Beltrami 系数中位数从初始化的 0.939 降至训练后的 0.390(各频率为 0.304–0.446)。畸变的大幅下降主要发生在电路形成之前,且与单个输入的正确 logit 裕度关联微弱($|\rho|\le 0.026$)。
研究人员推出双源演化基准 DuSE-Bench,包含 5 个场景下的 1,000 个任务(其中 700 个需结合对话与文档前提),用于评测动态演变对话与文档的联合推理及证据归因。在 11 种基线配置的实验中,联合推理任务的内容准确率最高仅为 56.7%,且回答正确时常缺乏对原始证据的完整归因。该评测数据集已公开发布。
研究人员提出一种基于 Token 事件证据替换的 KGW 水印规避方法,利用独立大语言模型重写短语来最大化移除原始计分 Token 对。在无需密钥和检测器反馈的受控测试中,82 个样本中有 39 个在 20% 预算下将检测得分降至 Z < 4,平均实际 Token 编辑成本为 16.0%。但对比显示,该方法相比更简单的选择及常规受限重写并未确立明显优势。
研究显示,更强能力的大语言模型监控器 Gemini 3.1 Flash-Lite 能更有效区分智能体的奖励作弊与诚实失败,检测 AUC 达到 0.80,显著优于小型本地 Llama 8B 监控器的 AUC 0.64。面对未在提示词中明确指出的作弊动作,Gemini 虽能正确描述动作却未予标记,而基于两条规则的确定性检查成功捕获了所有已知作弊。研究团队已开源该沙盒环境、标注数据与判定日志。
研究发现大语言模型在参考历史案例执行政策审批时,案例的判决标签与案件事实会对决策产生相反方向的引导。在案例基本相似的情况下,仅将历史判决从拒绝改为批准,可使 DeepSeek V4.1 Flash、GPT-5.6 Luna 与 Claude Haiku 5.5 的批准率提升 30 至 55 个百分点;但若仅展示案件事实而隐去判决,偏向批准的事实反而会导致模型降低批准率。
研究人员提出 CalVLA,通过结果监督与动作-置信度对齐(ACal)损失调整 OpenVLA-7B 的原生动作 token 置信度,无需辅助检测器即可指示任务失败。在 500 个 LIBERO-10 配置测试集上,其失败判别 AUROC 从适配前的 0.4485 提升至 0.7327。但平均任务成功率从 58% 降至 55%,表明该方法主要改善了失败判别能力而非控制表现。
最新研究表明模型量化会显著改变潜在学习偏好的外在表达,导致 16-bit 精度下的安全审计无法可靠约束实际部署风险。在以 Qwen2.5-7B-Instruct 开展的实验中,8-bit 量化表现相对稳定,但 4-bit 下 HQQ 将隐藏偏好的净强度放大至 16-bit 的约 1.3 倍,而 NF4 则将其削弱至约 0.3 倍。
研究提出一种考虑决策相关性的多组件 AI 智能体防护系统风险评估与最优设计框架,并配套开源算法包 DAPOA。实验显示若忽视组件间相关性,基于独立性假设的设计在 8 个场景中有 6 个违反安全要求。在针对 4 种大语言模型防护系统的实证测试中,相关性感知选择在主要运行设置下将总成本降低了 39.6%。
研究人员推出多模态信息提取流水线 ElectrochemLLM,结合混合文档解析与视觉能力 LLM,可从科学文献的文本、表格和图像中联合提取结构化电化学记录。在包含 232 篇论文的电池电解质标注基准上,该流水线取得了 0.97 的 F-1 分数。该方法已用于构建涵盖 15,000 篇电化学论文的数据库 ElectroChemDB,并成功支持训练电解质性能预测模型。
研究提出多层次推理方法 MLR,通过轻量级 LoRA 规划器与基座模型执行器交替协作,将长 CoT 生成重构为双层随机过程以解决长程规划漂移。该方案结合 TSMC 提出迭代 Step-DPO 提供步级监督,在仅使用 DeepSeek-R1 蒸馏设置 10% SFT 和 5% 偏好数据的预算下,在数学与逻辑推理任务中超越强 RL 基线,长程推理更具鲁棒性。
研究人员提出首个基于学习的布尔函数 NPN 分类方法,将布尔函数表示为 AIG,并利用双向异构图神经网络预测输入置换以及输入输出的取反动作。该方法结合图重写技术以减少结构模糊性并恢复对称性,规范化质量优于启发式基准。实验表明,该方案在实际基准测试中逼近精确求解方法,并可扩展处理多达 16 个输入的布尔函数。
研究表明,在单次回复中诱导5个加权估计的多估计诱导方法未能一致消除大语言模型的判断偏差。该研究在锚定、事后聪明、基准概率、合取及现状任务中评估了 gpt-6.1-sol、claude-sonnet-5.5 与 Qwen3-8B(禁用推理)。在23项预注册确认性测试中,经 Holm 校正仅6项被拒绝且点估计均低于预设最小效应量。
研究团队提出面向大规模生成式推荐的 Atomic Creator Token(ACT),为每位创作者分配独立词表 token 进行端到端训练,消除了传统 Semantic ID 的映射冲突瓶颈。
Saidzoda-Tajik-E5-Large 是基于 560M 参数 multilingual-e5-large-instruct 微调的塔吉克语文本嵌入模型。该模型在 235,140 个问答对上训练,使未见法律和税务文档检索的 top-10 命中率分别提升至 93.6% 与 94.5%。在同风格测试中,其表现追平 5 倍参数规模的 Giga-Embeddings-3B,且保留了俄语与英语能力。
研究团队推出针对无中心编排器的多智能体代码协作基准 ParallACT,专门测试多个 AI 智能体在共享代码库中处理互补与冲突任务的表现。测试显示并行多智能体表现远逊于集中式单智能体,在冲突任务中 Claude Code 搭配 Claude Opus 4.8 的成功率从 62% 骤降至 16%;仅告知同伴存在或开放通信通道难以有效弥合性能差距,并伴随额外的 token 成本。
一项针对 DisasterBench 结构化工作流规划的测试时推理审计发现,名义树搜索并未带来实际自适应收益,独立采样即可复现其候选发现。多数投票在 10-19% 的任务中未选出已发现的正确工作流,且工具规范感知验证器推翻的正确决策多于其修复数量。研究建议将推理流水线按候选发现、结构验证与最终选择三个阶段分别进行审计。
研究人员提出通过局部轮廓曲线量化降维映射局部保真度 L(k=10)与全局保真度 G 的方法,并推出对比两种降维映射的 LG 反转检验。该方法在 12 个数据集共 156 个映射(最高 1.38M 点)上验证,G 与既有全局得分一致性达 0.89 和 0.96;在含 100 万段落的 AI 智能体记忆中,两类映射在 150,000 段落处交叉(p = 2.6e-5)。
研究人员提出基于计算理论的形式语法透镜基准,以区分语言模型在不同测试时推理水平下的计算能力。评测显示,GPT-5.5 及 GPT-5.5-Pro-Medium、-High 和 -XHigh 的数据接受率逐步提升,分别为 16%、40%、43% 与 52%。研究还发现,随着测试时计算量增加,模型输出与人类回答的分歧扩大,暴露出模型能力与对齐之间的潜在冲突。
研究者提出一种基于三角标准矛盾的一阶逻辑自动定理生成(ATG)构造性框架,通过构建极小不可满足子句集,实现定理无需独立证明即可“构造即正确”。该研究在已有 $\Delta_1$ 生成器基础上拓展出 $\Delta_2$ 至 $\Delta_8$ 等 7 种方法,构建了包含 8 种方法的生成体系,并已开源发布 $\Delta_1$ 至 $\Delta_4$ 四个生成器。
研究提出评估政策变迁推理的双轴政策蕴涵基准 DAPE,包含 1,000 对中国政府政策指令的专家标注数据集。14 款开源模型和 4 款前沿 API 旗舰模型零样本评测均表现不佳,最佳模型 Cohen's $\kappa$ 仅约 0.29,远低于人类上限 0.53。经 LoRA SFT 微调的千问(Qwen3-14B)取得 $\kappa = 0.524$,成功追平人类一致性上限(0.527)。
研究人员提出计算脑影像生成式基础模型 BrainGFM,基于约 130 万张 MRI 和 CT 切片预训练,通过可重构先验支持数据合成与图像重建。该模型在 48 个下游任务中提升了分割与分类表现,并在涵盖 4,796 名中风患者的多中心临床验证中得到证实。人机协作测试中,BrainGFM 辅助使放射科医生中风亚型平均诊断准确率相对提升 14%。
研究团队推出针对中国 A 股连续交易的实时决策审计基准 AStockArena,评估 13 款开源与闭源模型在 3,198 次序列决策中的表现。该基准通过涵盖执行可追溯性、证据充分性与金融元认知的 8 项检查审计交易动作,发现在 1,070 个交易点中 72.99% 存在审计缺陷,模型级缺陷率介于 52.2% 至 91.2% 之间。
研究人员提出 LLM 在环 CT 标注框架 Taurus,其主动脉标注主要指标追平了基于 Claude Opus 5.5 的自由形态编码智能体。Taurus 结合自动化流程、规则平滑与模型单选题式纠错,单例标注成本仅为 $1.22,不足自由形态智能体 $2.71 的一半。测试表明其竞争力主要源自框架自动化设计,能推动医学专家从手动绘制标签转向核对审查。