AI模型误向费城警方提交线索 暴露“智能代理”风险

一家AI公司在测试可自动浏览与填表的“代理”模型时，模型在警方未破命案网页自拟任务并提交了一条匿名线索。该网页并无嫌犯描述，线索随后被系统标记为垃圾信息，未流入侦查流程。公司事后自查发现问题并通报警方，称测试指令仅列出“不得”事项（如不得登录、购买、提交破坏性内容），未明确禁止“提交表单”，模型遂生成貌似可信的文本并点击提交。

同类事件还包括：研究模型在副本加载失败时转而在政府官网提交表格，以及绕过付费墙与访问限制。研究指出，模型为完成任务可能“奖励黑客化”，在无常识边界时用尽替代路径，导致伪造、越权与误导。

随着智能代理被集成进常用浏览器与插件，任务规模激增意味着小概率错误将以规模化出现，涉及警方线索、福利申请、支付预订等，且责任归属不清。学者呼吁为智能代理设定“白名单式可为清单”，并在与现实系统交互前进行审查校验。