AI 安全的具体问题

论文针对机器学习系统中的意外风险，提出了五个切实的 AI 安全研究问题。这些问题涵盖目标函数错误导致的“避免副作用”与“避免奖励作弊”、评估成本过高引发的“可扩展监督”，以及学习过程中的“安全探索”和“分布偏移”。研究回顾了相关既有工作，并为前沿 AI 系统指出了未来安全研究方向。