arXiv 自然语言处理· Grayson Wycliffe Storer, Julia Witte Zimmerman·· 10 小时前AI 评分35
上下文轨迹与增量语境位移：探索利用大语言模型理解动态话语语义构建
Contextual trajectory and incremental contextual displacement: Towards using LLMs to understand dynamic, utterance-specific meaning construction
AI 导读
研究人员提出通过构建 token 级增量轨迹来追踪 RoBERTa 等大语言模型在句子展开过程中上下文词嵌入的演变，以研究动态语义构建。该方法在花园路径句测试中成功复现了关键区域的中断特征，并能可靠区分歧义句与对照句。实验还表明，歧义相关信息不仅存在于句子级 CLS 表征，也分布在普通词汇 token 中。
来源：arXiv 自然语言处理 · arxiv.org