arXiv 自然语言处理· Shengjie Xu·· 8 小时前AI 评分46
从几何到行为:指令暴露如何解锁大语言模型中的潜在修辞方向
From Geometry to Behavior: How Instruction Exposure Unlocks Latent Rhetorical Directions in LLMs
AI 导读
研究发现大语言模型在预训练阶段已蕴含类比方向,但其行为可访问性取决于训练中指令暴露的程度。基于 Gemma-2、Llama-3.1、Qwen-2.5(2B-32B)的测试显示,激活类比向量使 Gemma-2-9B-IT 调和平均分提升 22%(从 3.22 升至 3.94)。
来源:arXiv 自然语言处理 · arxiv.org