CuriousTogether:好奇心与文化基础在多智能体 LLM 交互中的影响研究Chinese
研究者提出 CuriousTogether 框架评估多智能体 LLM 的好奇心驱动交互,在 8 项任务中有 7 项取得性能提升。其在故事生成中将语义多样性最高提升 20.6%,刻板印象率降低 14.9 pp。此外,国别文化基础有助于创意与社会任务但可能损害精准推理,且该方法相比单智能体基线具备更优的质量与 token 权衡。
研究者提出 CuriousTogether 框架评估多智能体 LLM 的好奇心驱动交互,在 8 项任务中有 7 项取得性能提升。其在故事生成中将语义多样性最高提升 20.6%,刻板印象率降低 14.9 pp。此外,国别文化基础有助于创意与社会任务但可能损害精准推理,且该方法相比单智能体基线具备更优的质量与 token 权衡。
针对大语言模型虚构写作中角色名高频重复的问题,研究人员提出无需微调的“推测命名”(speculative naming)方法以控制名字集中度。在 20 个 LLM 生成的 44,782 篇故事评测中,该方法结合动态追踪器将 Slop Ratio(SR)指标平均降低 95%,平均碰撞概率从 7.3% 降至 0.4%。在保持自然度的同时,故事内重名率也从 4.3% 降至 0.2%。
研究团队针对 Google XLA:TPU 编译器提出了一套超大规模正确性验证与故障分流方法,应对编译深度优化导致的数值异常与内存损坏。该方案结合生产追踪与模糊测试,利用 AI 智能体集群自主生成压力测试并起草修复,并通过分层差分流水线精确定位融合算子内部故障。该框架已在生产环境中推动解决超过 142 个编译器 bug,另有 103 项发现正在审查。
研究人员基于 EZ-VC 推出阿拉伯语语音匿名化模型 EZ-Ar-VC,以解决现有 zero-shot VC 系统在阿拉伯语音系上发音保留不足的问题。该模型在保持高说话人差异度的同时,在可懂度、自然度及发音保留上表现优异,且对语码转换和跨方言转换具备鲁棒性。主观评估证实其还能有效泛化至训练数据中代表性有限的阿拉伯语方言。
LM6-CastBench 是一个用于 LM6 铝合金砂型铸造瞬态热场预测的开源几何感知仿真数据集,包含 450 个几何与工艺案例。数据集整合 3 个几何族、每族 10 种变体、5 种浇注温度与 3 种模具温度,保留 CAD 几何和时间分辨节点温度等信息。基准测试中,空间结构化 U-Net 相比逐点 MLP 大幅降低温度场误差,在截面突变等特征上提升最显著。
MedAstra 框架通过轻量适配器将冻结的 WavLM 语音表征映射至冻结的 E5 文本嵌入空间,实现无需查询转录即可直接输入波形的稠密检索。该框架纯语音检索的 Recall@10 达到 87.6,混合配置达 90.4,均优于转录优先稠密检索的 81.0。检索段落与关联元数据可支持医疗问答生成,但后续生成仍需文本输入。
研究人员推出完全本地运行的智能家居控制框架 Trail,通过分层类型化决策替代开放式命令生成,实现对房间、设备与操作的可靠选择。在 Trek-Robust 评测中,Trail 取得 85.3% 的准确率,优于微调 Qwen3.5-4B 基线的 69.8%。借助结构化记忆模块,Trail 在多轮依赖请求中的解决率达 75.6%,远高于基线的 42.5%。
研究表明,在低资源语言斯洛伐克语的移民媒体相关任务中,大语言模型对提示词变体的鲁棒性显著强于小型模型,母语提示词仅能带来适度且取决于具体任务的收益。分析进一步指出,系统或任务指令是提示词中最关键的组成部分,其影响超过示例部分,且特定任务的性能增益比整体语言效应更加明显。
一项面向医务人员的用户研究显示,基于 LLM 的临床 Text-to-SQL 多轮对话界面相比单轮界面大幅提升可用性,系统可用性量表评分从 68.2 显著升至 85.9(p<0.001)。对比测试中,93% 的受试者对对话界面整体更满意,86% 倾向于实际采纳,71% 更信任其结果。对 425 轮交互分析发现自由查询有 24.8% 触发了澄清请求,证实对话交互是临床数据访问的实用前提。
ArSciKids 是面向阿拉伯语小学科学教育的内容生成数据集集合,包含 999 条选自沙特、叙利亚与约旦官方教材的实验记录,以及 2,167 道来自沙特 Manhaji 平台的选择题。数据集覆盖 1-6 年级真实教学内容,研究团队使用 LoRA 微调了 10 个 10 亿以下至数十亿参数规模的开源模型,结合 ROUGE、BLEU 与人工评估测试其生成表现。该数据集将公开可用。
在保持文本指令不变的情况下,替换单个目标词的稀疏自编码器(SAE)特征即可引导机器人基础模型 $\pi_{0.5}$-LIBERO 完成替代任务。在第 0 层,BatchTopK 特征替换最高实现 20/20 次行为重定向,加入两倍强度的均值差向量也可达成 8-10/10 次。
小鹏团队发布自动驾驶仿真世界模型 X-World 1.6 技术报告,支持利用世界模型构建可控的虚拟城市。新模型提升了对红绿灯和道路标线等交通语义的精细控制以及多相机的空间一致性,并支持由单张图像生成多相机的未来视频。后训练框架进一步实现了高效因果少步生成与长交互周期的画质保留,并同步推出了配套的专用评估套件。
研究团队提出生成式语音语言模型 GSLM2,通过多流语音表征学习打破纯语音模型在语言理解能力与扩展效率上的瓶颈。系统采用 SpidR 2.0 编码器自监督学习多层级离散单元,并通过多流 SLM 联合建模跨流依赖,最大训练规模达到 600 万小时音频与 6.5B 参数。
该研究提出基于重放契约与选择性保留的状态感知激活重计算方法,解决前向状态变动导致的重算不一致问题。其联合规划器在激活保留、整缓冲区快照与选择性区域保留间动态权衡显存与恢复开销;在 H100 稀疏写入工作负载的 44 GiB 显存预算下,使单步时间较 eager/whole 规划减少 18.16%,并在 32 GiB 预算下比固定区域方案提速 4.98%。
最新研究从测试时扩展视角在 4 个数学与代码基准上评估大语言模型剪枝,发现剪枝模型即使 pass@1 出现下滑,在扩大采样预算后推理覆盖面仍可匹敌甚至超过原模型。但严重剪枝会导致正确解更难被采样命中,额外的尝试会大幅推高总 token 消耗。因此模型剪枝评估应同时衡量解题覆盖范围与获取正确解所需的采样成本。
研究人员提出演化科学智能(ESI)架构蓝图,旨在通过共享、可计算的科学记忆打破科研碎片化,实现证据驱动的跨领域假说生成与实验闭环。该系统综合科学价值、可靠性与成本筛选假说并协调分布式节点进行物理测试,利用实验反馈迭代评估模型。同时,系统通过较慢的元控制重新审视研究目标与决策标准,防止产生自我强化的错误优化。
针对 109 场重述前业绩电话会与 218 场对照电话会的研究显示,电话会文本虽能预测财务重述,但未在公开公司信息基础上带来可检测到的排序增益。重新拟合后加入文本的增益 95% 区间为 -0.05 至 0.11 AUROC;大语言模型得分虽更高,但在 66% 的遮盖文本中能直接识别出确切股票代码。
WAR-CRAFT 框架通过需求审计与文档核验优化 Web API 推荐结果。该框架利用 LLM 剔除冗余或不支持的 API,并由微调的 Resolver 针对未覆盖需求补充合规 API。在 ProgrammableWeb 配合 7 种推荐器的测试中,它将平均 SetF1 从 0.558 提升至 0.644,并将功能冗余度从 0.127 降至 0.065。
CompSkill 将 LLM 智能体的同任务执行经验编译为技能偏移与键残差(KeyOpt),直接优化技能检索结果而非修改文档文本。其紧凑的 512 维键以仅八分之一的维度将 SkillRet NDCG@10 从 64.0 提升至 70.9。
研究提出 CogRSI 框架,通过自我改进循环让语言模型自主编写心智推理原则,在 800 个未见过的 BigToM 测试对上准确率超越专家编写的原则。但将生成规则转换为代码审计后发现,大多数策略在特定情境下存在逻辑错误(如判定室内睡着的人知晓所发生事件),且仅靠准确率指标无法识别此类漏洞;相关代码与数据已开源。
研究团队基于 1,106 晚数据,首次通过符号回归提炼出人类睡眠宏观结构的闭式控制方程。数据显示周期长度近线性下降(R^2=0.996),REM 时长呈倒 U 型(R^2=0.873),深睡 N3 呈指数衰减(R^2=0.987),浅睡 N1 呈 U 型(R^2=0.956)。上述规律通过了可微拟合、PySR 符号回归及 1,000 次重采样检验。
在低资源孟加拉语生成的 6 项任务与 60M 至约 2B 参数模型评测中,EWAD 与 CHAD 门控知识蒸馏在 45 组对比中均未显著优于普通知识蒸馏。知识蒸馏在 40 组对比中亦未能击败交叉熵微调,其核心收益仅是正则化效果,且无需教师模型的标签平滑即可弥补大部分差距。
研究团队针对贪婪解码下的五智能体委员会开展白盒审计,分析确定性多智能体 LLM 审议对内部扰动的局部抵抗力。测试表明低裕度 token 位置更易产生分支,沿裕度减小的梯度方向注入残差位移后在 10 个生成 token 内发生转录分歧的频率显著更高。研究进一步跟踪了生成分支的演变,以此区分纯文本持久性与最终决策的改变。
研究团队提出 Skill++,无需重训路由器或标注数据,通过改写新技能的名称与描述消除 LLM 智能体的技能路由干扰。技能库跨 10 个阶段增至 731 个技能时,其完整选中所需技能的查询占比从原元数据的 36.4% 提升到 76.3%。该方法在 3 个 benchmark 和 5 个 LLM 路由器上均超越对比方法,增益亦延伸至 Codex CLI 智能体系统。
研究者提出 HALO 框架,通过分层证据选择与强化学习,在预算限制下联合优化纵向临床记录的证据筛选及多保真度标签源分配。在心力衰竭案例中,HALO 在 8 个目标预算中的 6 个取得最高 MedAlign 获取标签 F1 分数。其训练的下游分类器在预算 15-60 时取得最高外部 MGB F1 分数,在预算 75-120 时与最佳对比方法的差距保持在 0.01 以内。
为解决大语言模型在多轮对话中的上下文污染问题,研究提出无需训练的智能体对话上下文整理方法 AC3。该方法通过独立分析器仅从用户消息整合任务规范并编辑重构上下文,在结构上排除历史助手回复以防错误传染。实验显示,AC3 在 Lost in Conversation 基准上弥合了 55-84% 的性能差距,并在 WildChat 真实对话中获得 GPT-5-mini 裁判的更优评价。
研究表明分词切分方式控制着早退大语言模型在词内部的自适应计算分配。在千问(Qwen3)等模型中,置信度停止机制在英语中分配给词后续片段的计算少于首个片段,而在孟加拉语中恰恰相反,词内惊奇度解释了 75% 的差距方差。此外,学习型停止头虽优于置信度停止 7 到 8 点,但在同等成本下相较最佳固定退出组合提升不足 1 点。
arXiv 论文评估了 14 个无需生成文本、仅靠单次前向传播输出概率的 System-1 决策模型,测试其作为 LLM 裁判的可行性。
研究人员提出流式 Text-to-SQL 离线方法 SRPI,在固定模型权重下将生成失败转化为可复用的方言指令。在 Confluent Cloud Flink SQL 评测中,该提示词使 7 个生成模型的平均评分提升 7.1-19.2 个百分点,压缩后可缩减 52.7% 长度且仅降分 0.19 个百分点。推理无需检索或查询修复,搭载该提示词的助手已进入早期访问阶段。
研究人员提出 TAILOR 框架,通过成对条件风险价值(CVaR)引导 LLM 合成系统启发式策略,解决平均性能指标掩盖极端工况退化的问题。在 Azure GPU 批处理准入、Azure VM 装箱等 7 个优化基准测试中,TAILOR 在 6 个基准上以 99% 置信度同时改善了平均性能与尾部最优差距,尾部表现超越人类设计的鲁棒方案。
研究者重构了用于精确依存句法分析的矩阵算法 Bock,保留原始节点与弧身份,并证明其在精确算术下与原版 Bock、Tarjan 算法具备操作等价性,且与 CL/E 最优值等价。重构后的 Bock 算法被集成至 biaffine 依存句法分析器中,在 Penn Treebank 和 Chinese Treebank 上完成了解码与结构化训练评估。
研究人员构建了低资源语言 Tetun 医疗问答数据集 Labadain-MedQA,利用 Gemini 2.5 Flash 翻译生成了 39,077 个医疗 QA 对。在 325 道 Tetun 版 USMLE 评测中,经 QLoRA 微调的 Gemma 4 12B 平均准确率较基座模型最高相对提升 10.79%。该项目的数据集、模型及评估资源均已开源。
研究人员针对 System One 决策模型提出人口偏见审计协议,在 12 款模型及 1,638,000 次决策中评估了 BBQ、CrowS-Pairs 和 SilverSpoon 基准。测试发现模型普遍存在刻板印象对齐与顺序敏感性,选项置换会导致 0.0% 至 72.6% 的选择翻转,且 BBQ 中 97 项显著评分有 94 项与偏见对齐。研究建议审计默认置换选项,并将顺序无关评分作为采购标准。
研究团队推出针对系统 1 决策模型的认知实验基准 S1CogBench,通过 24 项认知任务评估模型在直接输出决策时的能力边界。评测覆盖 5 款开源模型与 Jev,发现模型间可靠性差异显著,高速度主要源于无需生成文本直接输出决策,且表现良好并不意味着能预测人类行为。该基准为软件检验决策是否响应证据、反馈与记忆负荷提供了首个测试方案,代码已开源。
研究提出利用边际极大似然拟合 Beta 混合分布,仅需单次拟合即可在闭式解下直接计算任意跨度的 Pass^k 与 AUC@k,并推导出无需额外模型调用的 delta-method 置信区间。在竞赛数学与研究生级科学基准测试中,该方法外推表现优于朴素估计,且置信区间覆盖全量数据参考;将其扩展至提示词敏感度分析时,估算精度同样优于同类基线。
研究人员提出评测基准压缩方法 BestRand,在保留随机采样效率的同时显著降低高误差长尾风险。该方法在 70+ 个文本、多模态和智能体基准上验证,相比竞品将高误差风险降低 50.2%、平均估计误差降低 16.4%,且仅需 51.3% 的构建成本。此外,其 OOD 估计误差平均降低 21.8%,相关代码与数据已公开发布。
一项针对 2.7B-7B 小语言模型的研究评估了 72 种压缩配置,揭示了量化、剪枝与微调恢复的交互规律。测试显示 INT8 量化可减少 40-45% 内存且精度损失低于 0.5%,NF4 结合 L1 剪枝会导致模型崩溃,而 LoRA 微调可恢复高达 97% 的退化困惑度。在端侧 CPU 部署中,4-bit 量化比 8-bit 提速 46-54%,非结构化剪枝则未带来延迟或内存收益。
对 Llama-3.2-1B 等 1.2-1.7B 模型的研究发现,深度剪枝会导致函数调用和数学推理能力彻底崩溃(保留度仅 0.00-0.07)。后续微调修复中,全架构添加低秩适配器相比仅微调最后三块最高可多保留 0.18 的能力。在同等训练 token 预算下,延长均匀微调的效果匹敌或优于复杂的规划分配策略。
Exo 提出了一种智能体运行时架构,将优化循环融入任务执行中,使智能体在运行时能修改 harness 和策略以自我改进。在开放世界游戏中,Exo 相比 Codex 和 Pi 将模型成本降低 12-53% 且完成率相当;在 AppWorld 和 SREGym 上降低 35-61% 的模型成本,并分别缩短 13% 的任务时间和 35% 的诊断时间。
研究人员提出解耦 RAG 框架 ShiftRAG,利用单一 LLM 主干将判别式检索学习与自回归生成隔离,以突破传统 RAG 的文本瓶颈。该框架将检索对齐映射为连续软 token 注入生成器,并通过软正交目标缓解 rank collapse。实验表明,ShiftRAG 显著提升了检索与问答性能,且在通用文本编码和生成任务中保持了效率与基础能力。