arXiv 机器学习· Ioannis Tsiokos·· 5 小时前AI 评分33
模型的参差能力（Jagged Competence）从何而来？
Where Does Jagged Competence Come From?
AI 导读
研究通过两层结构任务揭示了神经网络出现“参差能力”（平均误差低却在特定输入上失败）的成因。在顶层任务 B 上训练的小型循环网络仅在 B 所需区域学到底层 A 的高可读性（线性探针达 97-98%），其余区域仅 5-10%，导致自然 KL 低于 3×10⁻⁴ bits 的同时在特定序列出现约 0.25 的最大 TV 偏差。底层知识获取不均及顶层更新破坏底层表征解释了部分失效现象。
来源：arXiv 机器学习 · arxiv.org