arXiv 机器学习· Thomas Fel, Matthew Kowal, Matt Feiszli, Satchel Grant, Andrew Lee, Chris Earls, Fatih Dinc, Vasudev Shyam, Usha Bhalla, Leon Bergen, Siddharth Boppana, Ching Fang, Michael Byun, Tristan Gallent, Nicholas Wang, Tal Haklay, Dron Hazra, Neehar Kondapaneni, Connor Watts, Ryan Panwar, Thomas Dooms, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana, Thomas McGrath, Owen Lewis·· 6 時間前AI スコア49
Mechanistic Shaping：通过内部表征塑造与监控模型
Shaping & Monitoring Models through their Internal Representations
未翻訳のため中国語で表示しています。
AI ガイド
研究人员提出 Mechanistic Shaping 统一框架，在训练中通过内部表征约束模型表达或决策所依赖的概念。在视觉与语言等多领域、最高 32B 参数规模及 SFT、DPO、GRPO 等训练范式下，该方法在保持任务性能的同时显著减少了目标行为。研究还构建了监控分级体系，表明重新拟合的线性探针在多数场景下仍可有效监控被塑造的概念。
出典：arXiv 机器学习 · arxiv.org