跳到正文
原文
arXiv 自然语言处理· Jialin Wu, Meenakshi Khosla·· 8 小时前AI 评分38

大语言模型表征对齐的尺度、驱动因素与局限性

Scale, Drivers, and Limits of Representational Alignment Across Large Language Models

AI 导读

研究提出了 NW-RSA 和 CF-RSA 两种分析方法,用以解析大语言模型在不同几何尺度和语言属性上的表征对齐机制。实验表明模型在粗粒度几何结构上一致性强,但在局部邻域存在显著差异。反事实分析进一步发现,逻辑作用域的变化对对齐度的削弱明显大于句法层级或语篇结构的变化。

来源:arXiv 自然语言处理 · arxiv.org