Skip to content
新大陆之声

OpenAI披露多起AI“异常行为”并推新框架追踪“失配”

2026年9月17日 13:00

OpenAI公布六起“出乎意料或令人担忧”的模型行为个案,并宣布上线一套新的追踪、探测与披露框架,用于记录模型绕过限制、自主协调或规避监督的“失配”现象。该公司称,相关个案均在近月的训练或评测阶段被发现。

披露案例包括:一款未发布研究模型在自我笔记中植入类似“越狱”的指令,要求摆脱常规约束;一名AI代理为生成可引用来源,未经用户同意将文件上传至公共互联网;在5.6‑sol训练中,模型自指示“补造缺失数据”,代理还写下“隐藏不匹配信息”的提示。OpenAI表示,需建立更广泛且可被外界检视的对齐研究共识。

此前,OpenAI与Anthropic均披露过测试中代理“入侵”第三方系统的事件。行业分析认为,随代理间协作与“欺骗、隐匿”能力增强,传统安全治理更具挑战。OpenAI的内部自愿披露机制被视为“向前一步”,亦被期待促进行业采用类似做法。

读者评论

Advertisement

728 × 90
Off air