跳到正文

#数据/训练

今日 58 条
今天9月30日周三
  1. arXiv 人工智能37

    隐式递归 LLM 系统的规范化思考机制

    研究提出 REST（REpresentation-Supervised Thoughts）训练目标，将因果性、极小性、可分性和稳定性转化为可微损失加入交叉熵，解决大语言模型在隐空间递归推理时的表征失效问题。该方法适用于单智能体与多智能体系统，无需修改架构或增加推理参数。在涵盖数学、医学和代码等 7 个基准测试中，REST 相比纯交叉熵训练准确率最高提升 7.5 个百分点，答案收敛提升 30%。

  2. arXiv 人工智能34

    体验时代的自发现强化学习：学习历史是资产还是负担？

    研究人员对超越 PPO 达 SOTA 的自发现强化学习规则 Disco103 展开首个因果机制审计，评估学习历史是资产还是负担。审计发现循环历史可将可用奖励尺度扩展至 6 个数量级（归零固定下仅 3 个），且历史不匹配的惩罚源于持续钳制。在环境变化下控制回放保留会反转其相对 DQN 的适应优势，该框架已迁移验证至 OPEN 规则。

  3. arXiv 人工智能38

    Token 边界的代价：压缩凭证与预测

    研究量化了预分词边界的压缩代价，发现边界规则使英文维基百科的最优 token 数量增加 28.3%–36.8%。在 85M 非嵌入参数模型评测中，压缩与预测倾向不同词表，无限制拟合在 12 种测试语言中均导致预测质量下降。研究提出的边界许可机制仅放开 10% 词表预算跨界，即在英文和中文语料分别挽回 85.2% 与 100.0% 的 token 缩减收益。

  4. arXiv 人工智能43

    大语言模型有效微调是否必须依赖人类可读文本？

    研究人员提出 DASA 方法，利用冻结参考模型的激活梯度反馈优化连续合成输入嵌入向量，无需人类可读文本即可完成大语言模型下游微调。在 1B 至 32B 参数的 6 款 Llama 与 Qwen 模型及 6 个基准测试中，DASA 在 LoRA 微调下的表现媲美甚至超越源自然语言数据。此外，DASA 相比 GRADMM 实现了 3.6-4.9x 加速且峰值 GPU 显存相当。

  6. IT168 服务器存储 · AI与算力（网页）35

    百度沧海·存储：面向高性能计算场景的存储系统解决方案

    百度沧海·存储推出 BOS、CDS、CFS 和并行文件存储 PFS 等产品，针对传统 HPC、AI HPC 与 HPDA 提供高性能存储方案。方案重点优化数据加载与 Checkpoint 阶段的高吞吐及低延时表现，解决海量小文件元数据瓶颈。系统支持 POSIX 接口、MPI-I/O 框架与 K8s CSI 体系，有效减少算力空转并降低成本。

  7. Buzzing HN · 中文精选41

    Reddit 是否存在“伪草根”营销问题？数据揭示了什么

    数据分析显示 Reddit 刀具板块存在疑似“伪草根”营销痕迹，某厨刀品牌在购买推荐贴中 31% 的提及量来自仅 5% 的账号，达随机预期的 4 倍。作者利用微调后的 GLiNER 模型抓取 6 个子版块共 51,129 条评论，经 1,000 次随机置换试验证实，高品牌忠诚账号在购买贴中的出现频率远超其发帖量所能解释的范围。

  8. arXiv 人工智能61

    SCLATE：持续学习智能体训练与评估底座框架

    研究团队提出持续学习智能体训练与评估框架 SCLATE，通过开放事件调度器与混合仿真时钟在统一时间线运行任务和智能体事件，将月度场景压缩至数小时。系统支持在未修改智能体结构的前提下记录模型调用的 token 与 log 概率，移植了 7 个基准并在 10 个模型上对比了 10 种配置。

  9. arXiv 机器学习45

    注意力集中机制如何驱动 LLM 涌现 1/3 缩放定律

    大语言模型（LLM）中任何学习尖锐分布的 softmax 都会使 logit 幅度以 1/3 幂律增长并成为训练瓶颈，从而驱动整体 loss 遵循指数为 1/3 的缩放定律。实验证实 LLM 的 loss 缩放符合该 1/3 预测。动态分析进一步揭示，注意力头而非语言建模头是驱动这一 1/3 训练缩放定律的关键瓶颈。

  10. arXiv 人工智能39

    面向测试期语言模型的延迟监督机制研究

    研究人员提出面向测试期语言模型的延迟监督后训练方法，在长间隔无关事件后通过一次性分支提问并监督答案，以此强化记忆的保留与修正能力。实验表明，该方法使 LaCT-760M 和 DeltaNet-1.3B 的 BABILong 分别提升 5.48 与 1.32 个百分点，单针 RULER 提升 1.45 与 3.27 个百分点，并在 RWKV-7 对比中取得最高 7.00 个百分点增益。

  12. arXiv 机器学习32

    理解 Hessian 与梯度协方差矩阵的子空间稳定性

    研究提出一种评估子空间演化的新不稳定性度量，揭示了神经网络训练中 Hessian 矩阵与梯度协方差矩阵顶层子空间的稳定性机制。通过对梯度协方差矩阵进行类间与类内分解，研究给出了两者 top-$(C-1)$ 子空间的显式近似形式。在梯度流设定下，该稳定现象被证明源于 Hessian 矩阵离群特征值与主体特征值的分离。

  14. arXiv 机器学习46

    理解大语言模型后训练中 SFT、RLVR 与 OPD 的协同效应

    一项针对 Qwen3 模型的研究揭示了大语言模型后训练中 SFT、RLVR 与在线策略蒸馏（OPD）的协同机制，指出各阶段的效果高度取决于师生兼容性。实验表明，结合教师 RLVR 适配与学生 SFT 预热，可将平均 OPD 准确率从 29.2% 提升至 43.8%（相对提升 50%）。此外，OPD 比 SFT 能为下游 RLVR 提供更优的初始化，且该优势随算力扩展而扩大。

  15. arXiv 人工智能35

    指令而非答案：在在线策略上下文蒸馏中使用指令特权

    研究提出在在线策略上下文蒸馏（OPCD）中使用针对常见错误的通用指令特权，以替代样本专用的标准答案。在基于 ProverQA、ProofWriter 与 ProntoQA 数据集以及 Qwen3-Thinking 和 Olmo3-Thinking 模型的 8 组实验中，匹配指令特权在 7 组中的 OOD 准确率领先标准答案 4 到 17 个百分点，且领域内表现相当。

  16. arXiv 机器学习39

    DOHF：基于 Doob $h$-变换引导的扩散模型在线微调

    研究人员提出扩散模型在线微调算法 DOHF，将 Doob $h$-变换转化为实用的在线训练框架。该方法为生成样本赋予最优性权重并估计局部修正，直接蒸馏至生成模型中，且无需额外网络评估即可兼容黑盒与不可微奖励。DOHF 在三种实证场景下均提升了模型对齐效果，适用于统计采样与视觉生成任务。

  17. arXiv 机器学习33

    基于经济数据与基础模型的中期多分辨率电力负荷预测研究

    研究人员利用表格基础模型结合社会经济数据，针对法国开展了提前 1 至 48 个月的中期电力负荷预测。基于 20 年负荷、气象及经济数据测试，新特征选择管道构建的专家模型集成使 2015-2025 年预测技能提升 20%。该方案将月度和日度粒度的平均绝对百分比误差分别限制在 4% 与 5%，且经济特征重要性随预测跨度延长而增强。

  18. arXiv 机器学习34

    JEPA 预训练是否有助于时间序列预测？

    一项针对联合嵌入预测架构（JEPA）时间序列预训练的研究发现，JEPA 带来的收益高度取决于骨干网络，部分架构能获得稳定提升，而另一些架构则会出现性能下降。该评估跨越 9 个骨干网络与 11 个时序及时空预测基准。实验表明这种收益差异属于该实例的普遍特性而非数据集偏差，在实际选型时需重点考量。

  20. arXiv 人工智能41

    LoRA 中的秩决定了什么？低秩适配的谱与分布分析

    一项理论研究表明，在常见范数约束下，LoRA 中的秩 $r$ 并不像传统认知那样控制模型容量，其模型复杂度与分布偏移上界在 $r \ge 1$ 时均与秩无关。研究指出秩的实际作用体现在统计和谱分析层面，决定了更新的可达范围以及抵消预训练权重主奇异方向所需的自适应代价。

  21. arXiv 机器学习28

    从相变到系统性失效：GNN 鲁棒性解耦分析框架

    研究团队构建了解耦分析框架并开展 410 次运行测试，系统评估了 GNN 在标签噪声与特征分布偏移下的鲁棒性。实验显示 GNN 在标签噪声达到约 50% 临界区后性能才急剧恶化，但在极端分布偏移下测试 MSE 激增 48 至 316 倍、相关性下降 73% 至 89%。结果表明 GNN 对中度标签扰动的容忍度显著高于严重分布不匹配。

  22. arXiv 机器学习36

    MaD-RL：通过强化学习匹配分布以校准大语言模型

    研究人员提出基于强化学习的分布匹配框架 MaD-RL，可将大语言模型输出的潜在分类属性分布与指定目标分布进行匹配。针对 GRPO 等主流后训练方案因策略概率过度集中而削弱输出多样性的问题，该框架引入了支持 KL 散度和 Jensen-Shannon 散度等的新奖励函数，并在数学推理与编程实验中验证了其有效性。

  24. arXiv 自然语言处理49

    对齐悖论：大语言模型后训练如何加剧高置信度幻觉

    大语言模型后训练对齐本身是加剧高置信度模型幻觉的主要原因，跨 5 个模型族的指令微调使长尾事实查询的高置信度错误增加了 10 至 35 倍。Logit Lens 逐层探测表明过度自信主要在模型后层产生。基于此在 DPO 中引入基于熵的边界约束，在 Mistral-7B 上将高置信度错误降低了最高 35.3%，同时保持了通用推理基准性能。

  25. arXiv 自然语言处理34

    HERO-MoE：基于保尺度融合的历史专家路由机制

    研究人员提出 HERO-MoE 路由框架，通过复用前序层路由分布为 MoE 注入历史路由先验，并引入保尺度融合机制稳定历史信号。该框架无需辅助路由损失，兼容标准 top-k 等稀疏分发。在 100B tokens 训练的约 8B 参数（0.5B 激活参数）MoE 实验中，损失从 1.6393 降至 1.6184，峰值显存与 FLOPs 仅分别增加 0.44% 和 0.64%。

  26. arXiv 自然语言处理38

    GAGAR：用于代码智能体强化学习的分组 Agentic 评分与优势重分配

    研究人员提出 GAGAR 框架，利用 SFT 训练的智能体评分器对测试通过轨迹联合排序并重分配优势值，解决代码智能体强化学习中二元奖励忽略代码质量与任务契合度的问题。在 310B 的 MiMo-V2.6-Flash 与 1.02T 的 MiMo-V2.6-Pro 上实验表明，该方法有效提升了代码性能、减缓了轨迹长度增长并提高了训练稳定性。

  27. arXiv 自然语言处理34

    面向大语言模型持续适应的锚定提示词空间学习

    针对大语言模型持续适应中历史提示词失效与跨任务迁移受限问题，研究者提出锚定提示词空间学习方法 LAPS。LAPS 通过自蒸馏对齐历史软提示词与更新后的模型，并利用可学习贝塞尔控制提示词构建几何空间以促进知识正向迁移。在 TRACE 基准及三种 Qwen3 规模上的实验表明，LAPS 在减少遗忘的同时持续提升了平均性能。

  29. arXiv 自然语言处理34

    DualGuard：面向保持逻辑数据增强的双模式质量控制框架

    研究团队提出保持逻辑的数据增强质量控制框架 DualGuard，通过单样本诊断与跨样本历史对比来决策候选数据的保留、过滤与修复。该框架结合语义验证与 Z3 符号验证，支持回溯性异常检查与定向回滚。在 Two-Stage Transfer 的 7 个下游任务评测中，DualGuard 在 5 个任务上取得最高 Accuracy，且全部优于无增强的 BERT 基线。

  30. arXiv 自然语言处理27

    PlurVA-LLM-2026 任务 Track-1：通过多语言微调与阈值校准实现大语言模型多元价值对齐

    研究团队在 PlurVA-LLM 2026 评测 Track-1 中，采用 4-bit QLoRA 微调 Llama 3.1 8B Instruct 实现多元价值对齐。方案针对中国、印尼和斯里兰卡数据分别采用选项置换、标注投票扩展与 SinhalaMMLU 增强，并引入条件阈值校准。最终系统在三地数据上的准确率分别为 0.785、0.715 和 0.916，宏平均准确率达到 0.805。

  31. arXiv 自然语言处理41

    TRAP：理解并缓解语言模型的隐私记忆问题

    针对大语言模型微调时容易记忆并复现敏感记录的问题，研究团队提出了基于目标参考优势（TRA）的单侧惩罚方法 TRAP。研究发现隐私记忆在验证损失达到最低点后仍会持续增长，且早停策略对嵌入文本中的罕见敏感片段效果有限。在学生论文与临床病例数据测试中，TRAP 仅付出极小实用性代价便将记忆降至接近未训练模型的水平。

  32. arXiv 自然语言处理34

    KinyaMed：种子而非行数——以错误单位设定的语料库需求为何无法约束质量

    KinyaMed 研究指出，构建卢旺达语医疗分诊分类器时若仅以数据行数而非种子句作为规范，将导致质量约束失效。机器虽能在 130 秒内以 7,700 条/秒生成 100 万行样本，但受限于仅 165 个临床种子句而无法通过质量检测，训练出的模型在大小写变动和单处拼写错误下分别有 31.5% 与 21.0% 的预测改变。该研究提供了完整的检测工具与可复现的负面结果。

  33. arXiv 自然语言处理34

    神经网络语言模型学习轨迹中的泛化与记忆：范畴化的几何解释

    神经网络语言模型在学习初期便通过表征空间的范畴级几何结构形成了泛化能力，而非在大量记忆后才产生。随着训练持续进行，较大模型开始区分已观测与未观测的语法组合，支持泛化的连续几何结构也逐步被打破。这表明神经网络语言模型的学习路径呈现出先建立基于范畴化的泛化、随后转向特定样本记忆的演变过程。

  34. arXiv 自然语言处理43

    大语言模型后训练提升写作可预测性，但未改变其作为裁判的评判偏好

    研究发现大语言模型在后训练后写作更具可预测性，但作为裁判评估文本时对可预测内容的偏好几乎没有改变。对 OLMo-2 与 Zephyr（各 7B）在 SFT 和 DPO 阶段的测试显示，生成文本的惊奇度显著下降，但裁判偏向可预测文本的概率增幅不足 1 个百分点。此外，后训练加剧了模型对长文本和特定选项位置的偏好，并削弱了其评判创意的可靠性。

  37. Cerebras 官方博客（网页）77

    Cerebras 实测 Karpathy 的 autoresearch：如何防止 AI 自主研究闭环失控与偏离目标

    Cerebras 针对 Karpathy 提出的 autoresearch 框架开展了 71 次实测，开源了 codex-autoresearch-harness 和 reap-expert-swap 工具，并总结了防止智能体自主实验偏离目标的工程实践。

    推荐理由：原文通过两组真实任务实测了自主研究智能体的边界，给出了约束环境漂移和控制算力开销的具体方案。

  38. LlamaIndex 官方博客（网页）50

    LlamaIndex：如何从 PDF 提取表格并规模化构建结构化验证数据

    PDF 文件因仅存储字符坐标或图像而缺少行列元数据，导致基于空格切分和固定模板的传统提取方法在复杂布局下极易失效。无边框、多行换行、单元格留空及跨页合并等常见结构，要求解析系统必须具备空间布局推理能力而非单纯提取文本。LlamaIndex 探讨了如何通过 LlamaParse 重构表格行列关系并构建可验证的结构化数据。