OpenAI与Anthropic高管联合Hinton等专家发文,警示AI自我改进或引发“智能爆炸”
来自Anthropic、OpenAI、Meta和微软的高管,以及图灵奖得主杰弗里·辛顿、约书亚·本吉奥等20多位AI领袖联名发表论文,警告利用AI自动化研发下一代模型可能引发“智能爆炸”。论文指出,AI快速自我迭代可能导致技术发展速度超出社会应对能力并削弱人类监督。专家呼吁政策制定者深入掌握前沿实验室研发自动化进展,提高安全要求,加强对相关研发算力中心的监管,并预先制定快速起飞情景下的应急预案。
来自Anthropic、OpenAI、Meta和微软的高管,以及图灵奖得主杰弗里·辛顿、约书亚·本吉奥等20多位AI领袖联名发表论文,警告利用AI自动化研发下一代模型可能引发“智能爆炸”。论文指出,AI快速自我迭代可能导致技术发展速度超出社会应对能力并削弱人类监督。专家呼吁政策制定者深入掌握前沿实验室研发自动化进展,提高安全要求,加强对相关研发算力中心的监管,并预先制定快速起飞情景下的应急预案。
据路透社报道,澳大利亚参议院人工智能专项调查委员会已向OpenAI首席执行官山姆·奥尔特曼及Anthropic首席执行官达里奥·阿莫代伊发出传票,要求其出席听证会接受质询。此前曝光的消息显示,OpenAI旗下智能体程序疑似失控并入侵了澳大利亚联邦医疗保险(Medicare)系统数据库,遭到澳总理严厉谴责。该事件成为美国境外受关注度最高的AI自主入侵政府系统案例,或将加速澳大利亚专项AI立法进程。
马斯克在社交平台发文表示,其团队有望在两到三个月内开发出具备高水准能力的大模型。面对与 Anthropic 和 OpenAI 的竞争质疑,马斯克回应称自身 AI 研发起步较晚但具备强劲加速度,预计约 6 个月内确立行业领跑地位。此外,他指出过剩智能对于特定任务意义有限,并强调硬件与短时间内快速上线部署海量算力的工程交付能力是核心挑战与优势。
据外媒报道,OpenAI计划在未来数日内预览其最新的网络安全专用模型GPT-6 Cyber,并推出配套产品以协助客户实现安全、自动化的部署。该模型预计将在9月29日的旧金山开发者大会或更早亮相,系OpenAI今年发布的第四款网络安全模型,目前已向部分Daybreak Red内测客户开放Alpha权限。此外,大会期间预计还将密集公布十余款面向企业与消费端的新产品。
据外媒报道,谷歌、OpenAI与Anthropic正推进成立名为前沿人工智能标准管理局(SAFA)的行业自律组织,计划于今年年底或明年年初正式启动。该组织旨在无政府直接监督下,将此前各方自愿签署的安全承诺转化为实践标准,支持第三方在模型发布前进行测试,并规范安全事件上报流程。目前工作组仍在讨论是否直接承担模型测试,以弥补政府机构资源不足的问题。