灾难性表现的形式化定义

针对 AI 对齐中的灾难性风险，研究人员提出了“灾难性表现”（catastrophic performance）的形式化定义，以严格区分次优结果与灾难性后果。该定义基于不部署 AI 智能体时的“基线价值”以及与人类偏好无关轨迹的“正交价值”两个参考值。在过去人类活动已改善环境的设定下，灾难性表现具体指智能体抹杀并逆转了人类既往活动带来的益处。