研究人员提出基于SAE特征的数据高效指令微调方法FtF
Start here
2026年11月4日，研究人员在 arXiv 机器学习板块发表成果，提出名为 Follow the Features（FtF）的数据选择方法。该方法利用稀疏自编码器（SAE）特征指导构建高效指令微调子集，依据特征激活统计对样本进行打分，并支持跨目标模型复用。实验结果显示，在仅有 100 个样本的预算下微调 Qwen 3 8B 模型，其在 AlpacaEval 胜率与 Open LLM Leaderboard 调和均值上，比使用全量数据训练的结果高出 1.59 个百分点。
AI-generated from reports · Updated 19 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 机器学习Follow the Features：基于 SAE 特征引导的大语言模型数据高效指令微调
研究人员提出数据选择方法 Follow the Features（FtF），利用稀疏自编码器（SAE）特征指导构建高效指令微调子集。该方法依据特征激活统计对样本打分并支持跨目标模型复用，在 100 个样本预算下微调 Qwen 3 8B，其 AlpacaEval 胜率与 Open LLM Leaderboard 调和均值比全量数据训练高出 1.59 个百分点。
Story heat trend
Current heat 6·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.