并非所有记忆都等价：面向大模型智能体的分层协作记忆检索机制
在多智能体团队协作场景中，记忆具有异质性且持续动态演进。现有记忆增强系统通常将记忆扁平化存储，仅根据语义相似度或时间排序，导致检索到语义相关但已失效或冲突的过时信息。该论文提出一种分层协作记忆架构，区分团队集体共识与个体执行轨迹，建模记忆的层级结构与时效有效性，从而提升多智能体协作中的检索准确性与决策一致性。
DC AI 热点
全部 AI 动态
9月28日2026-09-28
生产环境Text-to-SQL流水线中LLM作为评判者的失效审计与修复
该研究针对生产级Text-to-SQL流水线中普遍采用但未经严格验证的“LLM-as-a-judge”（大模型充当裁判）机制展开审计。实验发现，部署的gpt-4o-mini评判器与人工标注一致性极低（Cohen's kappa仅0.04至0.42），误将77.1%忠实于意图的SQL过度判定为错误，主要归因于“评分幻觉”（GRADE-HALLUCINATION）。研究通过部署自建的Qwen模型替代，将一致性提升至0.72，媲美Claude顶配模型水平。
基于检索的长文本医疗事实核查为何失效？错误归因分类体系研究
在大模型高风险临床应用中，基于检索的事实核查已成为检测模型幻觉的主流范式。然而现有系统多依赖F1等汇总指标，遮蔽了核查失败的具体环节与原因，且传统RAG诊断往往依赖昂贵的标准答案或人工标注证据。针对长文本医疗问答的事实核查场景，该研究通过自动归纳构建了双重错误分类体系，能够细粒度剖析检索增强评估系统的具体失效模式，为提升医疗AI可解释性与评测可靠性提供了新工具。
打破大模型同质化：通过多样化角色设定激发创意输出
针对大语言模型在开放式任务中输出趋同、易陷入“群体思维”的问题，该研究将角色多样化形式化为集合级条件生成任务。研究探讨了“角色选择与生成”及“空间填充与边界探索多样性”两个核心设计维度，提出了覆盖子集选择、均匀覆盖采样及进化角色生成等四种方法。实验表明，结构化的多样化角色设定能有效打破模型生成的单一性，显著提升发散式思考与创意任务中的输出多样性与质量。
HARDEN：通过约束进化搜索生成高难度且保真答案的大模型评测用例
针对现有基准测试难以反映企业实际部署复杂度的问题，研究人员提出了 HARDEN 方法。该方法利用约束进化搜索技术，在保持预期输出答案不变的前提下，沿特定领域复杂度维度对评估输入进行改造，同时严格遵循任务语义、真实性与执行有效性约束。在 FinQA、PubMedQA、ContractNLI 基准及不同规模 Qwen3.5 模型上的实验表明，该方法能有效提升评测难度并暴露模型在复杂场景下的局限性。
MemProbe：借鉴认知科学实验范式探究智能体记忆的稳定性与可塑性权衡
当前智能体记忆系统的评测往往过于简化为最终回答的准确率，忽视了记忆动态演化的过程。最新研究引入了受认知科学启发的评估框架 MemProbe，旨在诊断智能体记忆中“稳定性与可塑性”的权衡问题。该框架基于认知记忆的重构性特征，结合干扰、信息可靠度、强化与再激活机制，设计了四大可复用的实验范式，为长周期智能体记忆的精准评测与优化提供了新工具。
研究探讨音频大模型对其转录可靠性的自我感知能力
该论文研究了音频大语言模型（Audio LLMs）在输入语音严重失真时，能否识别出自身转录结果不可靠。实验发现，如果直接通过提示词让模型评估自身转录的可靠性，模型的判断表现很差，在绝大多数情况下都会盲目自信地预测转录是可靠的，这揭示了语音交互大模型在面对低质量输入时存在自我认知盲区的问题。
搜索之后才是难点：全新基准 KNOWS 评估网页智能体的知识综合与呈现能力
现有计算机操作类智能体评测大多局限于信息检索，未能全面评估其实际作为助手的综合能力。针对这一痛点，研究团队推出了全新评测基准 KNOWS，聚焦于开放式、复杂的浏览器端多步工作流。该基准重点评估智能体在跨界面检索后，进行任务拆解、复杂推理、视觉与空间理解，并将多源知识综合整理为文档、演示文稿或表格等高质量交付物的综合能力。
流式视频理解新基准TRACE：引入时序审计与条件感知评测框架
针对流式视频理解评估中忽视证据生效时机、视觉历史维护机制及响应触发条件等问题，研究人员提出了条件感知基准与评测框架 TRACE。该框架结合了带有时序审计的视觉任务，将证据时机与指令依赖条件显式化，从而精准区分模型在不同工作负载和运行机制下的真实表现与失败模式，为流式多模态模型提供了更严格、细致的动态评估标准。
余弦相似度并非证据：量化下可解释性迁移的底噪测量研究
该研究针对AI安全与可解释性领域的一种常见做法提出质疑：研究人员常在全精度权重上校准可解释性特征，并部署于量化模型，随后仅凭未报告底噪的尺度不变统计量（如余弦相似度、相关系数等）便宣称特征成功迁移。论文以均值差方向估计器为例，推导了由无量纲数决定的底噪基准，揭示了忽略噪声基准会导致对可解释性在量化模型中有效性的误判。
基于扰动强度增强大模型解释自洽性评估
该论文针对大语言模型生成解释的自洽性评估问题展开研究。以往基于表面扰动的评测方法未能明确度量和控制扰动强度。对此，研究团队提出了一种利用大模型作为裁判（LLM-as-a-judge）的统一扰动强度度量方法，覆盖输入扰动与思维链（CoT）扰动。通过在可控强度条件下对多种主流大模型生成的解释进行公平横向评测，实验验证了该方法在解释可信度和鲁棒性评估上的有效性。
ARGUS：基于语言模型的气候政策因果推断假设审计框架
在气候政策评估中，双重差分（DID）方法被广泛使用，但验证其识别假设的证据支持一直存在困难。研究人员提出了 ARGUS，一个结构化语言模型工作流，可依据包含 11 个维度的“假设-推论-证据”准则审计论文中的证据，并在无法检索到相关证据时主动弃权。在注入缺陷的测试基准上，ARGUS 检出了 73% 的人为植入缺陷，显著优于传统关键词方法的 18%。
从标注走向推理：大语言模型中的文化理解与文学阐释评测
该研究探讨了在大语言模型面对多重合理阐释场景下的评估方法。现有的文化基准测试主要集中在事实性知识或预设含义识别上，难以衡量模型在特定文本中解释文化引用、结合证据论证观点及在批评后修正理解的深度能力。论文提出将文学阐释作为研究场景，重点评估模型在文化引用中的深度推理与解释能力，为文化多样性与模型认知评测提供了新视角。
融合跨学科理论的虚假新闻计算建模、检测与解释框架
虚假信息检测技术虽准确率不断提升，但往往缺乏可解释性，且与心理学、传播学等传统理论脱节。该研究提出了一种理论驱动的计算框架，通过结构化梳理社会科学、心理学和经济学等领域的虚假新闻理论，利用统计技术与大语言模型将其转化为可量化的特征，旨在实现更具可解释性与理论依据的虚假信息自动化检测与分析。
9月25日2026-09-25
大语言模型辩论行为基准测试：针对人身攻击防御能力的研究
该研究聚焦于大语言模型在说服性对话中作为辩论智能体的表现，重点评估其在面对人身攻击（诉诸人身论证）时的应对能力。在政治等说服性对话场景中，人格可信度与命题内容同样关键。研究通过分析自然语言政治对话语料库，探究现代大模型能否复现人类在策略性运用和防御人身攻击方面的辩论水准，旨在系统评估模型在复杂对话情境中的辩论与说服能力。
基于伪造语料微调检验模型置信度与知识一致性的开源工具包技术手册
语言模型对答案的置信度通常被视为其掌握事实程度的代理指标。该技术手册介绍了一个专门用于直接检验该假设的开源工具包。研究团队通过在包含81个个位数加法虚假答案的伪造语料库上微调小型因果语言模型，并在微调前后使用统一的测量流程，定量对比模型对虚假答案与真实答案的置信度演变。手册详细阐述并论证了该评估流水线的各个构建阶段。
礼貌却未对齐：基于人类语用规范评估大语言模型的礼貌度判断
该论文评估了大语言模型在社交语用学层面是否与人类的礼貌判断相符。研究人员采用包含连续评分和三分类标注的两个英语数据集，对七个主流模型进行了测试。结果显示，模型之间的一致性显著高于模型与人类之间的一致性。策略层面的分析表明，模型与人类判断的对齐主要依赖于显式的语言线索，而在涉及建立融洽关系等隐式语用策略上仍存在理解偏差。
研究揭示思维链前缀指令或导致视觉语言模型答案解码失效
最新研究探讨了视觉语言模型（VLM）在多项选择评测中存在的解码陷阱。当评测系统追加思维链（CoT）推理提示，却在模型生成完整推理过程前直接读取答案标签的对数几率时，会导致严重的评估失真。实验显示，Qwen2.5-VL-7B在ScienceQA任务上的准确率从80.76%骤降至45.48%，且超93%的预测倾向于选择首个选项。探针测试证实隐藏层仍保留正确答案，表明失效源于不当的即时读取机制。
大模型自动批卷的成败边界：两门计算机考试的实证研究
一项来自学术界的新研究评估了大语言模型（LLM）用于高校考试自动评分的可靠性与局限。研究团队在包含570名学生的计算机视觉考试上测试了开源与闭源模型的171种配置。结果显示，最优模型的平均绝对误差达到1.64/35，甚至优于两位人类评分员之间2.61/35的分歧水平。然而实验发现模型对提示词极度脆弱：加入一句简短的“严格评分”提示，便导致17个开源模型中的14个评分严重失常，甚至有模型直接停止评分。
大模型评估研究：似然排序在规模扩展表现上不同于提示词方法
该研究探讨了大语言模型（LLM）的评估方法。在多项选择问答任务中，常规基于似然的评分与提示词方法类似均依赖任务上下文。研究团队提出了一种基于问答对构建的陈述句进行似然排序的补充评估协议。通过对95个参数量从1亿到1040亿的仅解码器模型在10个多选题数据集上的测试，系统对比并揭示了似然排序与提示词方法在模型规模扩展表现上的差异。
受控实验复检极小规模三值语言模型：基线架构设置主导性能评估结论
该研究针对微控制器级的三值（1.58-bit）权重语言模型进行了严格的受控复验。此前有研究称混合路由三值模块在6万参数规模下性能超越参数匹配的全精度Transformer达22%，并归因于归纳偏置。研究人员通过固定训练配方、多随机种子及98次测试进行复查，发现基线Transformer的具体结构形状对性能起主导作用，揭示了此前结论可能受基线设计差异误导，强调了极小模型对比的评估规范。
9月24日2026-09-24
大模型在多语言亲属称谓上“能识别却难生成”：文化特定词汇生成基准研究
当前针对大语言模型在多语言亲属关系理解上的评估多采用多项选择，实质将其简化为识别任务。该研究构建了涵盖印地语、泰米尔语和韩语三种非西方语言的亲属称谓生成基准，测试了5款开源大模型在生成与选择任务中的表现。结果显示，模型普遍存在显著能力断层：GPT OSS 120B在对应选项识别中准确率达90.67%，但在自主生成中的合格率仅为36.00%，Llama 3.3 70B等模型亦呈现相同趋势。
句子级法律解释准则分类：基于德国联邦宪法法院判决的评测基准
针对大语言模型在司法推理分析中的难点，该研究提出了一个句子级基准，用于评估大模型分类法律解释准则的能力。研究基于传统法学解释理论构建了分类标准，发布了经过句子级人工标注的德国联邦宪法法院判决数据集，并在专家手写提示词设定下，对来自三个模型家族的四款大语言模型进行了基线性能评测。
长文本问答实证研究：学习型上下文规划为何难以超越强检索基线
该论文针对长文本多项选择问答任务，系统测试了学习型上下文规划在强检索、路由、预算选择和重排序控制下的有效性。研究人员基于LongBench-v2的503道多选题目，使用Qwen2.5-7B-Instruct模型进行了对照诊断。结果显示，在18k字符的预算约束下，锚定混合检索可达到36.18%的准确率，揭示了复杂的上下文规划在面临强检索基线时的局限性与表现瓶颈。
事实核查评分提升由何驱动？针对验证模型与大语言模型的证据与答案归因研究
该论文探讨了联合事实核查评分提升背后的机制，分析在固定答案的前提下证据质量对综合评分的独立贡献。研究基于FEVEROUS基准数据集中的7,890条声明及4个DeBERTa模型检查点展开实验。结果显示，将DCUF证据替换为UnifEE证据后，严格核查评分显著提升9.61个百分点，而答案准确率仅提高1.96个百分点。该研究通过细粒度归因，揭示了高质量证据检索对联合事实核查评估指标的决定性影响。
NADI 2026：第二届多方言阿拉伯语语音处理共享任务发布
NADI 2026 是精细阿拉伯语方言识别（NADI）系列的第七届共享任务，也是第二次专注于多方言阿拉伯语语音处理的评测。本届任务包含五项核心任务与八个子任务，覆盖自动语音识别（ASR）、方言识别（SDID）、语音合成（TTS）、语音翻译（SLT）和口语理解（SLU）。该评测重点关注低带宽、混合方言、语码转换、域外及零样本等真实场景，并首次在该系列中引入了 TTS、SLT 和 SLU 赛道。
超越重叠：评估基准数据泄露对模型性能因果效应的LeakScale框架
训练数据包含评测基准只能证明存在接触，却无法量化这种接触对评测表现的具体影响程度。为此，研究人员提出了干预性评估框架 LeakScale。该框架通过构建包含私有特定信息、且无法从公开任务中推导的新可执行任务，严格控制对这些信息的访问，从而利用反事实方法量化基准数据泄露对模型评测得分造成的实际因果影响。
面向网络生成文本的字素转音素基准 UGTPhon：涵盖多语言与组合式方法
文本转语音（TTS）系统在处理网络生成文本（如缩写 ppl、imo）时，需根据规范表达而非表面拼写来推断发音。为此，研究人员推出了首个针对英语、越南语和韩语网络文本的字素转音素（G2P）基准 UGTPhon，并配套提出用于细粒度诊断的分类体系。测试显示，现有 G2P 模型及前沿大模型在此类文本上的音素错误率（PER）最高落后 66.8 点。研究团队进一步提出了一种结合规范形式证据的组合式 G2P 基线方法。
PRISM-VLM：面向紧凑型视觉语言模型的多维度判别评测基准
针对现有评测基准多沿袭前沿大模型设计、导致紧凑型视觉语言模型难以拉开区分度的问题，研究人员推出了 PRISM-VLM 评测基准。该基准围绕轻量级多模态模型的常见失效模式，从任务质量、行为鲁棒性和能力瓶颈等七个关键维度对每个评测样本进行综合打分，并将其融合为单一的 PScore 指标，从而更精确、精细地评估紧凑型多模态模型的真实表现与局限性。
Uncheatable Eval：基于动态压缩机制的语言模型防污染评估基准
针对现代大语言模型因海量预训练数据导致基准泄露、评估可靠性受损的问题，以及基座模型因指令遵循能力受限而难以通过任务型标准评估的挑战，研究人员提出了 Uncheatable Eval。该动态基准通过定期采集最新发布的文本来评估基座语言模型，以规避数据污染风险，并利用模型预测能力与文本压缩能力之间的关联设计评估机制。原摘要在方法细节处截断。