论文揭示思维链起始 Token 存在熵坍塌并提出两项推理期干预方法

新研究发现当前模型难以控制思维链陈述的局限源于思考标签后前几个 Token 的熵坍塌，并据此提出了两项推理期干预方法。通过预填起始 Token 或禁用高频开头词配合上下文示例，跨模型平均顺从度提升了 34-41 个百分点。该干预主要恢复了信息添加与风格转换的可控性，而抑制特定信息则呈现不同机制且常与可监控性呈负相关。