arXiv 自然语言处理· Mohamed Eltahir, Anas Obayd, Raed Rashid, Abdulrahman Alghamdi, Abdulrahman Mousa, Abdallah Ahmed, Tanveer Hussain, Naeemullah Khan·· 4 小时前AI 评分47
Periscope：将冻结语言模型扩展至上下文窗口之外
Periscope: Extending Frozen Language Models Beyond Their Context Window
AI 导读
免训练推理方法 Periscope 通过将文本分块排列为网格进行探测，使冻结语言模型能够突破自身上下文窗口限制。该方法在 InfiniteBench 上领先最佳窗口读取 5 分，在 LongBench v2 上仅读 9k token 即可匹配最高 1M 窗口读取表现。
来源：arXiv 自然语言处理 · arxiv.org