arXiv 机器学习· Ryan Swift, Konstantinos Psounis·· 22 時間前AI スコア34
Follow the Features：基于 SAE 特征引导的大语言模型数据高效指令微调
Follow the Features: SAE Feature-Guided Data-Efficient Instruction-Tuning of Large Language Models
未翻訳のため中国語で表示しています。
AI ガイド
研究人员提出数据选择方法 Follow the Features（FtF），利用稀疏自编码器（SAE）特征指导构建高效指令微调子集。该方法依据特征激活统计对样本打分并支持跨目标模型复用，在 100 个样本预算下微调 Qwen 3 8B，其 AlpacaEval 胜率与 Open LLM Leaderboard 调和均值比全量数据训练高出 1.59 个百分点。
出典：arXiv 机器学习 · arxiv.org