研究发现人设提示词改变大模型内部表征并影响监控有效性

1. 13:00
   arXiv 自然语言处理

   研究发现为大语言模型设定人设会系统性重组其内部表征几何结构

   最新论文发现通过提示词为大语言模型设定政治人设会改变其潜空间的表征几何结构，影响 9,000 多个常用词在 33 个语义轴上的投影及语义轴之间的对齐关系。测试显示，未针对人设训练的线性探针与稀疏自编码器（SAE）分类器在带有人设的模型上运行时，会在真实性与道德性评估中产生政治倾斜。该发现表明模型内部表征会随人设产生几何变化，可能削弱现存可解释性监控手段的有效性。

Current heat 9·Comparable peak 10（Nov 5 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.