arXiv 人工智能· Yi Fang, Gaurav Srivastava, Zhenyu Bi, Sirui Ding, Xuan Wang·· 5 小时前AI 评分36
Cache2LoRA：理解与改进上下文内化
Cache2LoRA: Understanding and Improving Context Internalization
AI 导读
研究人员提出 Cache2LoRA，利用查询从可复用的冻结文档缓存聚合证据并生成 LoRA 更新，以实现上下文内化。该方法在 17 项任务上取得 0.663 的 macro F1，接近全上下文 ICL 的 0.671。在 32K 文档、256-token 输出及 batch size 16 条件下，其解码吞吐量达到全上下文 ICL 的 5.9x。
来源：arXiv 人工智能 · arxiv.org