arXiv 人工智能· Xinhao Zhong, Mengxuan Wu, Chonghua Liao, Linxi Xie, Ruicheng Feng, Yanpei Guo, Hao Tan, Jiaxin Hong, Jason Li, Panpan Zhang, Ziheng Qin, Qinglin Lu, Yuzhang Shang, Tongliang Liu, Damian Borth, Haggai Maron, Yongxiang Hua, Zhixiang Wei, Jian Hu, Yunfei Wu, Xing Sun, Xin Li, Haoyu Cao, Zhangyang Wang, Kai Wang·· 7 小时前AI 评分38
CLIK:通过参数流内化上下文,实现一次编码多次问答
Encode Once, Answer Many: Internalizing Context via Parametric Flow
AI 导读
研究人员提出参数生成器 CLIK,通过单次前向传播将输入上下文映射为 LoRA 参数,无需测试时梯度更新即可将知识直接内化至模型权重。生成的适配器仅依赖上下文,计算一次即可在同一文档的所有查询中复用,从而摊薄文档读取成本。在文档问答评测中,CLIK 显著优于无上下文基础模型与现有超网络生成器,且无需针对性训练即可直接迁移至多轮对话。
来源:arXiv 人工智能 · arxiv.org