跳到正文
原文
arXiv 自然语言处理· Jinkun Chen, Xuemin Yu, Sijia Han, Vlado Keselj·· 19 小时前AI 评分32

实体替换响应的跨 Prompt 复用研究

Cross-Prompt Reuse of Entity-Replacement Responses

AI 导读

在固定权重模型中跨 Prompt 复用实体替换响应时,隐层状态注入在 0.5-1B 的 Qwen 与 Llama 上分别消除了 45% 和 49% 的未改变错误。Gemma-2-2B 在恢复 BOS token 协议后错误消除率达 58%-68%,但更大 checkpoint 与 chat 格式会出现依赖性失效,非 chat 格式下隐层复用优势仅为 0.2-0.9 nats。

来源:arXiv 自然语言处理 · arxiv.org