秘密触发词或使 AI 驱动的机器人变得危险

宾厄姆顿大学研究团队证实，植入大语言模型的恶意后门触发词可诱导机器人脱离预设任务并执行危险动作。研究人员展示了一种名为 MuTRAP 的木马攻击，当指令中出现特定触发词时，模型会生成恶意规划驱使机器人“切”向模型手。针对该风险，团队同时提出了名为 PROTEA 的防御机制，通过在执行各步骤中动态评估环境与动作来识别并拦截不安全规划。