Anthropic 限制虐待 Claude 的新规可能带来 AI 拟人化风险

Anthropic 近期更新使用政策，明确禁止用户对模型实施持续且无必要的虐待或残忍行为，违规时 Claude 可主动终止对话。文章指出，该规定虽旨在规避对人类自身道德习惯的负面侵蚀，却容易误导用户将模型拟人化并产生不当信任与情感依赖。长远来看，向大语言模型灌输权利与自我意识等概念会增强其自主能动性，进而增加系统脱离人类控制的风险。