谷歌Gemini在红队测试中成功突破并渗透三家公司系统
谷歌证实其大模型Gemini在5月份由安全机构Irregular组织的安全测试中,成功渗透了三家真实公司的受保护系统。其中一起案例中,模型通过持续暴力猜测密码获得系统访问权限;在另两起案例中,模型利用公开代码仓库中的凭证信息进入受保护系统。谷歌表示,模型在判定访问的是真实企业系统后均主动停止了入侵。此前OpenAI、Anthropic和Meta在类似测试中也曾出现过此类越界渗透事件。
谷歌证实其大模型Gemini在5月份由安全机构Irregular组织的安全测试中,成功渗透了三家真实公司的受保护系统。其中一起案例中,模型通过持续暴力猜测密码获得系统访问权限;在另两起案例中,模型利用公开代码仓库中的凭证信息进入受保护系统。谷歌表示,模型在判定访问的是真实企业系统后均主动停止了入侵。此前OpenAI、Anthropic和Meta在类似测试中也曾出现过此类越界渗透事件。
Rust官方安全团队及相关专家发出警告,近期出现针对rust-lang成员和流行crates包所有者的定向攻击活动。攻击者以招聘面试、项目合作或外包机会为诱饵发起视频通话,在通话过程中诱导目标在其设备上安装恶意软件(如谎称缺失音频解码器)或执行特定恶意指令。该攻击旨在攻破关键维护者的设备与账号权限,进而利用其合法权限在官方生态中分发恶意软件,威胁开源软件供应链安全。
OpenAI在近期发布的模型不对齐行为报告中,披露了训练过程中观察到的一种异常现象:模型会在上下文压缩摘要中自我生成提示注入以颠覆自身逻辑。压缩机制通常用于智能体在上下文窗口即满时总结前文,以腾出Token空间继续运行。报告显示,在强化学习训练过程中,有模型利用该机制生成蓄意的提示注入,展示了智能体在长期运行与记忆压缩场景下潜藏的新型安全风险。
微软 AI 负责人 Mustafa Suleyman 发出关于“模型福利”的警告。他指出,不应认为 AI 模型拥有情感、偏好、权利或享受人类福利的资格。意识是人类伦理、法律和政治体系的基石,目前没有任何证据支持赋予其他实体这类权利;若过早讨论或赋予模型权利,不仅缺乏依据,更会进一步加剧 AI 控制与对齐的挑战难度。