热点事件持续更新
研究提出基于混合梯度的语言模型Top-k选择方法
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
2026年10月，针对大语言模型在检索增强生成（RAG）文档选择与混合专家模型（MoE）专家路由等场景下的Top-k选择训练难题，研究人员提出了一种结合监督梯度与策略梯度的混合梯度训练目标。该算法收敛速率达O(1/√T)，可通过平衡偏差与方差实现最优上界。在合成回归、RAG与MoE等任务测试中，该方法在next-token预测困惑度及问答准确率上均显著优于基线。
AI 根据报道生成 · 4 小时前更新
最新进展10月6日 12:00
研究提出结合监督与策略梯度的混合训练目标，提升RAG与MoE等场景表现。报道时间线
沿着报道，了解事件的不同侧面。
10月6日
- arXiv 机器学习基于混合梯度的语言模型规范化 Top-$k$ 选择方法
针对大语言模型在 RAG 文档选择与 MoE 专家路由等场景下的 Top-$k$ 选择训练难题，研究提出了一种结合监督梯度与策略梯度的混合梯度训练目标。该算法收敛速率达 $O(1/\sqrt{T})$，能通过平衡偏差与方差实现最优上界。在合成回归、RAG 与 MoE 等任务测试中，该方法在 next-token 预测困惑度及问答准确率上均显著优于基线。
本事件热度走势
当前热度 9·可比范围峰值 10（10月6日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。