研究提出AI对齐中“灾难性表现”的形式化定义
Start here
针对AI对齐领域的灾难性风险，研究人员于2026年11月提出了“灾难性表现”（catastrophic performance）的形式化定义，旨在严格区分次优结果与灾难性后果。该定义基于两个核心参考值：一是不部署AI智能体时的“基线价值”，二是与人类偏好无关轨迹的“正交价值”。在假定过去人类活动已经改善了环境的设定下，灾难性表现具体指智能体抹杀并逆转了人类既往活动所带来的全部益处。
AI-generated from reports · Updated 7 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能灾难性表现的形式化定义
针对 AI 对齐中的灾难性风险，研究人员提出了“灾难性表现”（catastrophic performance）的形式化定义，以严格区分次优结果与灾难性后果。该定义基于不部署 AI 智能体时的“基线价值”以及与人类偏好无关轨迹的“正交价值”两个参考值。在过去人类活动已改善环境的设定下，灾难性表现具体指智能体抹杀并逆转了人类既往活动带来的益处。
Story heat trend
Current heat 8·Comparable peak 10（Nov 5 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.