arXiv 自然语言处理· Jonas Loos, Oliver Eberle·· 5 hours agoAI score43
KV-Cache Patching：追踪微调行为如何以及在何处产生
KV-Cache Patching: Tracing How and Where Fine-Tuned Behaviors Arise
Not yet translated; shown in Chinese.
AI guide
研究人员提出 KV cache 修补方法，通过在 LoRA 微调模型与基础模型间替换 KV cache 探究微调行为的产生机制。实验显示，将微调模型的 KV cache 导入基础模型可成功迁移德语回答或突现性未对齐等行为，反向操作则能部分或完全移除微调行为。该修补效果集中在少数关键位置，其中系统提示词与聊天模板 token 具有不成比例的显著影响。
Source:arXiv 自然语言处理 · arxiv.org