跳到正文
原文
arXiv 人工智能· Yao Huang, Yichi Zhang, Yifan Wang, Yitong Sun, Haoyu Dong, Jifan Ma, Jinzhe Tu, Xiaojian Li, S\"oren Mindermann, Wei Xu, Yinpeng Dong·· 5 小时前AI 评分50

前沿 AI 系统失控风险预测与理解的行为学框架

A Behavioural Framework for Predicting and Understanding Loss of Control in Frontier Artificial Intelligence Systems

AI 导读

研究人员提出一种前瞻性评估前沿 AI 系统失控风险的行为学框架,将风险分解为未对齐动机、致害能力和逃避监控三大因素。该框架通过 13 个维度和 29 项评测任务计算单一 LoC 评分,在 13 个前沿模型中与长程风险场景故障率高度相关(Pearson r = 0.84)。依据诊断漏洞进行微调与监控可有效降低失控风险,同时基本保留通用性能。

来源:arXiv 人工智能 · arxiv.org