arXiv 机器学习· Nimun Bajwa, Massimo Poesio·· 8 小时前AI 评分37
大语言模型安全相关行为的探测与引导研究
Probing and Steering for Safety-Relevant Behaviours in Large Language Models
AI 导读
研究人员在 Llama-3.1-8B-Instruct 上评估了激活探针探测与引导欺骗、高风险意识及阿谀奉承三种安全行为的效果。实验发现，逻辑回归擅长探测而均值差擅长引导的“读写分离”现象在欺骗与高风险场景成立，但在阿谀奉承中出现反转，且最佳引导层往往早于最佳探测层。相关成果已集成至支持直接评分和文本引导的交互界面中。
来源：arXiv 机器学习 · arxiv.org