arXiv 机器学习· Parsa Rahimi, Azim Dehghani Amirabad·· 5 小时前AI 评分34
知识与推理导向的评测基准是否会在 LLM 中引发稳定的表征特征？
Do Knowledge and Reasoning Oriented Benchmarks Induce Stable Representation Signatures in LLMs?
AI 导读
研究测试了预设的知识与推理标签是否会在 5 款 7B 至 31B 的大语言模型中形成可复用的内部表征特征，结果显示未检测出可迁移的特征。原始探测虽在 5 款模型的 MMLU 划分上取得 0.78-0.81 的 macro-F1，但仅凭提示词文本预测的效果接近，激活值优势仅为 0.017-0.070 且并不显著；在经词汇校正后显著性消除，所选取的表征层位也会随任务面板和筛选规则发生改变。
来源：arXiv 机器学习 · arxiv.org