arXiv 机器学习· Ankush Checkervarty·· 5 小时前AI 评分35
覆盖度而非难度决定激活探针所需的合成数据量
Coverage, Not Difficulty, Sets How Much Synthetic Data an Activation Probe Needs
AI 导读
研究发现激活探针所需的合成数据量由概念覆盖度而非单类难度决定，高风险与有害回复探针在 Gemma-3-27B-IT 上仅需 80 个样本即可接近饱和平台期，而指令探针需要数倍样本。测试覆盖 10-590 个样本及 14 个评估分布，各类别的半增益样本中位数均为 7-11 个，需求差异主要源于类别间的迁移能力。相关评测套件与数据集已公开发布。
来源：arXiv 机器学习 · arxiv.org