多任务模型中的跨任务关系学习:在YouTube生产推荐系统中的落地验证
该研究提出了一种在多任务模型中学习跨任务关系的新框架。该框架通过针对性的成对关系来近似任务标签的联合分布,从而在避免对完整联合空间建模的高昂复杂度下,利用迁移学习提升模型性能与信息抽取能力。该方法具备通用性,并在YouTube生产级推荐系统(涵盖通知、主页及“接下来播放”等场景)中完成部署验证,实验表明其显著提升了预测准确率与用户满意度。
该研究提出了一种在多任务模型中学习跨任务关系的新框架。该框架通过针对性的成对关系来近似任务标签的联合分布,从而在避免对完整联合空间建模的高昂复杂度下,利用迁移学习提升模型性能与信息抽取能力。该方法具备通用性,并在YouTube生产级推荐系统(涵盖通知、主页及“接下来播放”等场景)中完成部署验证,实验表明其显著提升了预测准确率与用户满意度。
针对孟加拉语在神经文本转语音(TTS)领域缺乏高质量长文本朗读资源的现状,研究人员推出了BanglaKontho数据集。该数据集源自专业有声读物录音,包含20小时单人发音数据、7050条经转写校验的24 kHz切分片段,旨在解决现有语料缺乏长文本韵律与连贯叙述的问题。此外,研究团队还发布了支持孟加拉风格数字分组、货币与日期表达的文本正则化工具。
该研究探讨了如何仅利用文档发表时的初始信息,前瞻性地从嵌入式主题模型的离群点中识别新兴主题的弱信号。在基于嵌入的主题建模中,部分最初被视作散乱噪声的文档未来可能会演化为新兴主题的基石,但在当时极难与普通噪声区分。研究通过追踪离群文档后续的发展轨迹构建标签体系,探索如何提前区分能够催生新主题的先兆离群点与单纯强化既有主题或作为背景噪声的文档,为趋势前瞻发现提供了新方法。
该论文针对时间序列基础模型(TSFM)在长周期多步预测中面临的固有不确定性问题展开研究。现有模型在各时间步衍生出的预测分支会向后续步骤扩散,导致预测表现不一并削弱了结果的可信度。为此,作者提出了切片-图化-对齐(SGA)方法来对该不确定性进行量化。因原始摘要结尾截断,关于 SGA 方法的具体机制与实验效果等信息不足。
该研究针对大语言模型作为低成本评审员在统计推断中的局限性展开探讨。研究指出,AI评估往往存在偏差和噪声,而严谨的假设检验必须明确控制第一类和第二类错误。为此,论文提出了一种人机协同的假设检验方案,结合成本感知的AI选择性评分与序贯人工核验升级机制,旨在满足严格统计推断有效性与错误率控制的前提下,最大限度降低整体评估成本。
针对大语言模型在端到端事件抽取中面临的多任务协同挑战,研究人员提出了名为 EAGER 的强化学习框架。该方法将细粒度可验证奖励与基于模式对比的优势估计机制相结合,有效缓解了稀疏二元奖励导致的优势崩溃问题。其奖励设计针对结构有效性、抽取准确性、扎根性、覆盖率和跨度精度等多维度指标进行了优化,显著增强了生成式事件抽取的准确性与鲁棒性。
针对甲状腺细针穿刺活检在深度学习分类中面临的高假阴性率及临床域偏移下的过度自信问题,研究人员提出了 TAM-Chain 框架。该研究结合吸收马尔可夫链理论与基于香农熵的不确定性量化方法,在 10x、20x 和 40x 等多尺度下动态建模特征提取过程,旨在抑制假阴性漏诊并增强跨域适应能力,提升早期甲状腺癌病理诊断的可靠性。
最新研究发现,大语言模型的能力可以通过与目标任务无关的文本进行传递。传统后训练通常依赖任务特定数据,而研究团队提出了一种“主动无任务蒸馏”(ATD)方法,仅需教师模型针对每个提示生成一个词即可实现能力转移。该方法揭示了后训练会在任务无关的决策中留下可被探测的“行为阴影”,突破了此前潜意识学习研究需依赖大量生成的限制,深化了对模型后训练表征变化及知识蒸馏机制的理解。
该研究探讨了大语言模型在数学定理推测与证明中的价值评估问题。针对 AI 产出的大量新数学定理是否“有趣”或“有用”这一开放课题,作者提出了定理内在趣味性(Intrinsic Interestingness)的量化定义,即定理的证明长度与其命题陈述长度之比。实验表明,该指标与定理在下游的外在价值度量强相关,为评估和引导 AI 拓展高价值数学知识提供了新路径。
针对超大语料库场景下不同任务难度的本质差异,该研究提出了“语料任务复杂度”(CTC)概念,根据任务难度随语料规模增长的规律来刻画任务特性。例如,基础检索任务仅需对语料库进行单次线性扫描,而查找矛盾等深层任务则需对呈二次方增长的主张对进行比对。研究指出以往工作在此类复杂度分析上的局限,为理解和评估大规模语料下的模型任务提供了新的计算理论视角。
针对多线平行板雪崩计数器(MWPPAC)传统校准依赖标注数据、难以适应工况变化与设备老化的问题,研究人员提出了一种物理信息自监督学习框架。该框架无需标注的位置测量或专用校准测量,即可联合实现探测器导线校准与粒子相互作用位置的高精度重构,显著提升了科学探测仪器在长期运行中的自适应能力。
针对蛋白质修饰中序列空间庞大且湿实验验证成本高的问题,研究人员推出了名为 PFArena 的评测基准。尽管蛋白质语言模型(PLM)、大语言模型(LLM)及智能体在蛋白质修饰领域展现出潜力,但其在实际实验决策场景中的相对表现尚不明确。PFArena 包含四个受控任务接口,覆盖单突变体生成与多突变体排序,通过提供不同梯度的突变适应度数据,系统性评估各类模型在蛋白质设计与修饰任务中的决策能力。
针对FIE2026中文事实性推理评估任务中的类别严重不平衡(单类别占64.1%)及兼顾精确度与邻近区间惩罚的评价机制,研究人员提出UO-FIE系统。实验发现mDeBERTa分类模型易偏向多数类,而Huber回归基线虽能落在相近区间但精确匹配率低。UO-FIE采用参数高效架构,综合精确标签监督与分级效用设计,改善了九分类有序事实性区间的推断表现。
针对大语言模型个性化价值对齐中常采用静态画像、忽视情境对价值偏好动态影响的局限,研究人员受勒温场论启发,提出将个人价值观建模为先验、情境依赖偏好建模为后验的新范式。基于此,该研究提出了名为 BaCVA 的推理时贝叶斯情境价值对齐方法,使模型输出能够结合用户内在特质与具体环境约束,实现更动态、情境化的个性化对齐。
最新研究探讨了视觉语言模型(VLM)在多项选择评测中存在的解码陷阱。当评测系统追加思维链(CoT)推理提示,却在模型生成完整推理过程前直接读取答案标签的对数几率时,会导致严重的评估失真。实验显示,Qwen2.5-VL-7B在ScienceQA任务上的准确率从80.76%骤降至45.48%,且超93%的预测倾向于选择首个选项。探针测试证实隐藏层仍保留正确答案,表明失效源于不当的即时读取机制。
以GRPO为代表的分组强化学习已成为训练推理与智能体大模型的主流范式。然而,这类方法在全轨迹层面的优势估计虽然可靠,但在单步层面上存在系统性偏差,粗粒度的轨迹级反馈难以准确评估单个步骤的实际贡献(例如失败轨迹中往往包含有价值的操作步骤)。论文回归强化学习基础定义,提出通过构建轨迹图来精确估计步骤级优势,以解决多轮复杂智能体任务中的信用分配难题并提升模型训练效果。
理解大语言模型(LLM)如何编码语言结构是可解释性研究的核心难题。传统的诊断分类器(探针)方法存在引入容量混淆与校准偏差等局限,往往难以区分模型自身的内禀表征与探针本身的拟合能力。为解决这一问题,该研究提出了一个无探针(probe-free)框架,用于在单个神经元层面上定位语言选择性,探索模型内部表征机制。
该论文研究了带有可验证奖励的强化学习(RLVR)在迭代群与拟群乘法等算法任务中的优化景观,探讨其学习新推理能力的极限。作者将近视表格策略下的熵正则化RLVR映射到确定性策略的自旋玻璃能量模型,不仅给出了RLVR能力的理论上限,还严格刻画了表格环境下的景观特征。理论与实验表明该优化景观可以是良态的;因原文摘要截断,具体实验细节未完全展开。
一项来自学术界的新研究评估了大语言模型(LLM)用于高校考试自动评分的可靠性与局限。研究团队在包含570名学生的计算机视觉考试上测试了开源与闭源模型的171种配置。结果显示,最优模型的平均绝对误差达到1.64/35,甚至优于两位人类评分员之间2.61/35的分歧水平。然而实验发现模型对提示词极度脆弱:加入一句简短的“严格评分”提示,便导致17个开源模型中的14个评分严重失常,甚至有模型直接停止评分。
针对虚拟药物筛选中候选分子众多但实际合成与测试资源受限的痛点,研究人员提出了OPDiv多样性选择与评估算法。在化合物筛选过程中,高预测分数与分子结构多样性往往存在权衡取舍。该算法基于整数优化技术,能够在保证化合物高评分的同时最大化样本多样性,自动计算出最优的Top-K分子子集,为药物发现后期的合成验证提供更高效的决策支持。
针对现有基于图的世界模型多局限于固定拓扑或确定性、完全可观测环境的问题,研究人员提出了图动力学模型(GDM)。该模型专为图结构观测设计,能够处理在随机和部分可观测环境中拓扑结构动态演化的更通用场景。GDM利用稀疏循环邻接矩阵对拓扑更新进行建模并执行消息传递,结合循环状态空间机制以捕捉潜空间动力学。
该研究探讨了稀疏自编码器(SAE)在解析语言模型内部表征时揭示的语言学结构。作者以词性(PoS)类别为受控实验案例,分析形态句法信息究竟是由单个隐特征还是结构化特征组所编码。实验表明,词性差异高度可从SAE激活中恢复,但并非简单的一对一隐变量映射,且该恢复能力无法归结为单纯的词汇记忆,同时开放类与封闭类词性在表征特性上存在显著差异。
针对混合推理模型在无显式思考(NoThink)模式下的后训练机制,本研究探讨了其性能提升是否源于基座模型“思考(Think)”模式能力的潜在迁移。作者将这种“思考泄漏”纳入因果中介分析框架,并基于激活方向的双向干预进行审计。在3个模型、3种后训练方法及竞赛数学基准上的实验表明,“思考泄漏”在行为和表征层面均真实存在、具备因果性且影响显著,揭示了快推理模式下的内在表征机制。
具备工具调用能力的智能体通常交替生成结构化工具调用和自然语言总结。现有同策略强化学习算法(如GRPO)由于将整条轨迹的单一优势值无差别广播至所有Token,导致总结生成中的梯度噪声泄漏至工具决策Token,引发跨段信用分配错误与优化不稳定。为此,研究者提出了SLCA-GRPO框架,通过引入分段锁定的信用分配机制,有效隔离噪声并提升了工具调用策略训练的鲁棒性。
该研究探讨了大模型多轮智能体训练中策略内自我蒸馏(OPSD)范式的缺陷。该范式利用特权信息构建强教师模型进行词元级监督,但在多轮交互中,学生智能体会表现出脱离实际信息的盲目自信,误以为自己掌握了未曾观测到的特权信息,导致性能大幅落后于普通强化学习,甚至劣于基座模型。为此作者提出了新范式;由于原文摘要截断,新方法细节尚未完全展开。
该研究探讨了大语言模型(LLM)的评估方法。在多项选择问答任务中,常规基于似然的评分与提示词方法类似均依赖任务上下文。研究团队提出了一种基于问答对构建的陈述句进行似然排序的补充评估协议。通过对95个参数量从1亿到1040亿的仅解码器模型在10个多选题数据集上的测试,系统对比并揭示了似然排序与提示词方法在模型规模扩展表现上的差异。
该研究针对微控制器级的三值(1.58-bit)权重语言模型进行了严格的受控复验。此前有研究称混合路由三值模块在6万参数规模下性能超越参数匹配的全精度Transformer达22%,并归因于归纳偏置。研究人员通过固定训练配方、多随机种子及98次测试进行复查,发现基线Transformer的具体结构形状对性能起主导作用,揭示了此前结论可能受基线设计差异误导,强调了极小模型对比的评估规范。
针对标准强化学习通常忽略生物智能体感知、注意力和工作记忆等认知计算成本的问题,该研究探讨了有限理性条件下的强化学习建模。作者推导并提出了 MI-SARSA 算法,这是一种同策略时序差分强化学习算法,通过引入学习到的边际动作互信息正则化来限制策略复杂度,旨在更好地模拟受计算约束的生物智能决策行为。
大语言模型(LLM)已广泛应用于编程解题与缺陷修复,但现有研究通常将解题能力与修复能力独立评估,忽略了二者之间的关联。本研究重点探讨LLM在修复含错代码时相较于人类补丁的偏差程度,并验证模型是否存在倾向于直接生成全新解法而非局部修复的偏差。为此,研究团队构建了包含约3000次编程提交的数据集,系统分析模型修复缺陷的实际机制。
本研究基于小波扩散模型(WDM)框架,系统评估了扩散模型在公里级降水降尺度任务中的跨区域与跨事件泛化能力。研究覆盖了代表对流、冬季、热带及大气河流等降水机制的美国六个区域,通过对NOAA多雷达/多传感器复合反射率场进行块平均生成低分辨率输入。研究重点测试了仅在俄克拉荷马州样本上训练的模型向其他未知地理区域和天气形态迁移的实际表现。