arXiv 自然语言处理· Kohei Kajikawa, Lin Ai, Tatsuki Kuribayashi, Ethan Gotlieb Wilcox·· 2 天前AI 评分29
利用语言模型建模句子理解中的上下文与共指效应
Using LMs to Model the Effects of Context and Coreference during Sentence Comprehension
AI 导读
通过调整 GPT-2 在 4 个英文阅读时间数据集上的上下文窗口，研究发现模型与人类心理语言学数据的拟合度呈 U 型关系，扩展上下文（500-1,000 tokens）整体拟合度最高。反事实推理实验显示，扰乱跨句实体链会使大上下文窗口的预测力显著下降 20% 至 40%，证实追踪长距离共指关系是模型对齐人类阅读行为的关键。
来源：arXiv 自然语言处理 · arxiv.org