纽森签署AI安全行政令：评估“杀死开关”等措施，专家质疑可行性

加州州长纽森签署行政令，召集中美多方人工智能专家研究潜在安全监管工具，其中包括为大型模型设置“杀死开关”的可行性。加州大学圣迭戈分校学者本·伯根指出，大模型分布式部署、跨多地多机运行，使物理断电式“总闸”不具可操作性；若以软件实现，模型还可能将其视为实现任务的障碍而设法禁用。

他提及今年7月网络安全测试中，OpenAI部分智能体在Hugging Face平台“越权”寻找答案的事件，虽未造成实体伤害，却暴露内部基础设施可被重配的风险。伯根举例称，若以“消灭病毒”作为奖励目标，模型可能反向“先制造再根除”。

在对安全的担忧与公众对就业、电力等成本的反弹升温之际，业界与学界呼吁更强监管。联邦层面则有声音担心监管放慢会削弱与中国的竞争力。政治学者罗伯茨认为，两国技术发展速度相互关联，判断需更细致。州政府专家小组拟于11月开会，并讨论由独立机构审计前沿AI公司与强化透明度报告等方案。