arXiv 机器学习· Darshil Doshi, Wenjie Zhou, Corinna Elena Wegner, Daniel J. Korchinski, Santiago Acevedo, Matthieu Wyart·· 4 小时前AI 评分44
大语言模型中柏拉图表征的理论解释
A theory of platonic representations in language models
AI 导读
研究提出基于隐藏分层数据结构的理论框架，从理论上解释了多语言大模型内层表征相似的柏拉图表征现象。该理论利用共享高层规则的概率上下文无关文法与信念传播机制，解释了跨语言相似性在中间层达峰、随语言亲缘度和模型质量增强等规律。团队还在预训练 LLM 中证实，从每层减去前一层的线性预测分量可提升跨语言相似性。
来源：arXiv 机器学习 · arxiv.org