arXiv 自然语言处理· Junlong Jia, Jiang Zhou, Xing Wu, Chaochen Gao Tinghao Yu, Feng Zhang, Lilin Wang·2026-10-20 12:00· 6 小时前AI 评分37

哪些长文档真正重要？大语言模型上下文扩展数据筛选对比研究

Which Long Documents Matter? A Controlled Study of Data Selection for Context Extension

AI 导读

研究针对大语言模型上下文扩展提出基于截断前缀计算关键 token 密度的 truncLongPPL 筛选方法，在 128K 评分中实现 2.28x 端到端加速且下游表现接近全跨度评分。