arXiv 自然语言处理· Samhita Bollepally, Takashi Yamauchi, Manju Muralee, Motunrayo Adebimpe·· 13 小时前AI 评分31
LLM 会在内部区分语言特征吗？：一项逐层表征分析
Do LLMs differentiate linguistic traits internally?: A layer-wise analysis
AI 导读
研究人员对参数规模相同的预训练模型 Llama-3.2-1B 与 Gemma-3-1B-PT 进行了逐层表征分析，以探究大语言模型是否在内部区分字面意义与习语等语言特征。该研究结合了逐层探测与几何距离度量，基于各层主成分载荷排名前列的嵌入维度展开分析。结果表明，即使模型容量相当，二者组织语言信息的方式也存在本质差异，评估人机语言理解一致性时需结合内部表征几何与语义空间对齐。
来源：arXiv 自然语言处理 · arxiv.org