arXiv 自然语言处理· Andr\'es Daniel Godoy Ortiz·· 7 小时前AI 评分34
大语言模型中的局部语义几何：意义收缩
Meaning Contracts: Local Semantic Geometry in Large Language Models
AI 导读
研究人员针对 Gemma 4、Llama 3.2、Qwen 2.5 和 Pythia 四款 LLM 展开探针测试，证实大语言模型的语义组织为局部各向异性邻域，且意义在细化时会发生收缩。实验显示，在移除主方差方向后句子对按语义相关度严格分层排序，细化操作会驱动表征向更紧密的邻域定向位移，句子级与 token 局部读取则呈现出体积收缩等互补几何特性。
来源：arXiv 自然语言处理 · arxiv.org