研究人员提出高效指令微调数据选择方法QSGS
Start here
2026年11月4日，arXiv发布的研究提出了一种面向高效指令微调的数据选择方法QSGS。该方法通过在梯度相似度图上进行子模优化，并结合梯度引导合成，以平衡目标相关性并抑制样本冗余。在Llama-2、Llama-3和Mistral等模型上的实验表明，QSGS在MMLU、BBH与TydiQA基准评测中均超越最强基线。其中，Mistral-7B仅需0.5%的数据预算即可匹敌或超越全量微调的表现，且在数据预算越紧缩时优势越显著。
AI-generated from reports · Updated 15 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能面向高效指令微调的基于查询子模数据选择方法
研究人员提出高效指令微调数据选择方法 QSGS，通过梯度相似度图上的子模优化与梯度引导合成，平衡目标相关性并抑制样本冗余。在 Llama-2、Llama-3 和 Mistral 上的实验显示，QSGS 在 MMLU、BBH 与 TydiQA 上均超越最强基线。其中 Mistral-7B 仅用 0.5% 数据预算即匹敌或超越全量微调表现，预算越紧缩优势越显著。
Story heat trend
Current heat 7·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.