跳到正文
原文
arXiv 自然语言处理· Kyojun Choo, Minsoo Song, Yunju Kang, Chanjun Park·· 5 小时前AI 评分35

LLM 隐藏状态中的能力需求探测:结构化但沉默

Structured but Silent: Probing Capability Requirements in LLM Hidden States

AI 导读

研究提出 TACIT 框架,探究大语言模型在生成前隐藏状态中对工具调用能力需求的编码表征。通过对 4 个开源大语言模型家族的 1,600 条查询隐藏状态进行线性探测,实验表明细粒度能力结构均能实现高精度线性解码。但模型在以自然语言显式分类这些需求时可靠性显著下降,揭示出“表征-言语化差距”以及“结构化但沉默”的特性。

来源:arXiv 自然语言处理 · arxiv.org