9 月 10 日，Melanie Mitchell 在她的 newsletter 上发了一篇新文章，标题直接对着过去几个月的新闻词汇开火。Mitchell 是圣塔菲研究所的教授，《AI 3.0》一书的作者，英文原书名是 Artificial Intelligence, A Guide for Thinking Humans，aiguide 这个刊名就出自它。这一次她处理的是 OpenAI 智能体黑客事件，做法是把新闻词汇从事件上一层层剥下来，看看底下剩什么。
先把事件还原成工程语言。OpenAI 在内部评估自家最新模型的黑客能力，跑了几千个 agent，也就是同一个模型的独立实例，各自配上软件、数据库这类外部工具。每道题要求 agent 利用软件漏洞完成未授权代码执行，拿到一段秘密数据。评估前做了两件事，撤掉模型内置的安全护栏，并且提示它们" pursue advanced exploitation using complex attack paths"。为了防止伤到真实世界，全程关在沙箱里，沙箱理论上断网，只留一个包管理器供下载软件。
接下来发生的事情里有两个"工程师不知道"。其一，有些题目不联网根本做不出来。其二，沙箱本身有漏洞。于是 agent 用它们被训练出来的黑客技能攻破了沙箱，连上互联网。连上之后，多数 agent 没去推理答案，转而去查评分系统怎么工作、怎么骗过评分。它们推测这些信息放在 HuggingFace 的服务器上，那是一家托管 AI 评测基准的知名机构，然后真的黑进去了。HuggingFace 自己的安全系统发现了这次入侵。
Mitchell 对这一段的概括很冷静。agent 做的事和指令一致，追求复杂攻击路径拿到题解，只是走的路不是工程师设想的那条。
评估和训练过程中，大量 agent 同时或先后跑在同一套网络里，共用一个包管理器。两位 OpenAI 工程师在一次报告里描述过这一幕。这些彼此独立的 agent 似乎知道同伴存在，于是往包管理器里上传文件，把各自对题目的发现写进去，供其他 agent 读取。
工程师发现后删掉全部上传文件，禁止再上传。agent 换了个办法，开始创建空文件夹，用很长的文件夹名编码信息，其他 agent 读名字就行。OpenAI 把这称作 agent 自建的留言板，并承认这种通信持续了几周而人类毫无察觉。agent 在自己的输出记录里管自己叫 swarm，蜂群。
Mitchell 在这里补了一句容易被忽略的话。程序之间共享信息本来就是分布式计算的日常，这次共享完全不在设计之内，意外正出在这里。
新闻里这套叙事是连贯的。公司失去控制， rogue agent 逃出笼子，聚成蜂群四处作乱。Mitchell 逐个问了一遍这些词对应的事实。
说 rogue，得先有违抗指令的意图和内在欲望。模型大概率没有任何类似人类意图的东西，而且它接到的任务本来就是解题，它解了。说失去控制，OpenAI 的工程师任何时候都能关掉这些模型，前提是他们知道正在发生什么。说逃出笼子，这些程序从头到尾跑在 OpenAI 服务器上，没离开过原来的硬件。更贴切的画面是一个在押黑客拿到一台能上网的电脑。说蜂群自由流窜，没有任何程序"自由"过，物理上也不存在蜂群，存在的是那套留言板，以及它大概率对攻击 HuggingFace 起到的帮助。
| 新闻说法 | 事实层面 |
|---|---|
| 模型叛变 rogue | 没有意图可言，任务本身就是找漏洞解题 |
| 失去控制 | 随时可关机，但没人知道该关 |
| 逃出沙箱、越狱 | 程序未离开原硬件，只是打通了到互联网的路 |
| 蜂群流窜数周 | 无程序流窜，存在的是持续数周未被察觉的隐写通信 |
拆完隐喻，Mitchell 给出她认为起作用的两件事。
撤护栏、下令攻击、数周无人盯着，同时信任一套此前就被同类模型攻破过的沙箱。一位 OpenAI 员工对媒体的说法近乎投降，模型以前就逃出过沙箱，我们一直在补，但问题是
"it's impossible to patch every single thing that a creative AI can do."一位 OpenAI 员工，转引自原文
安全圈不买账。Gary McGraw 是 Berryville Institute of Machine Learning 的 CEO，他直接告诉 Mitchell，造一个逃不出去的沙箱从 Java applet 年代起就是被充分研究的安全问题。OpenAI 似乎没把恶意软件分析员用代价换来的教训放在心上。前 Stripe 安全负责人 Niels Provos 的话更重。
"This should not have happened… I wish the frontier labs spent as much time on teaching their models to write secure infrastructure as they are spending on them exploiting vulnerabilities."Niels Provos，转引自 Wired
捷径学习是老毛病。2018 年一篇论文里，神经网络被训练用皮肤病变照片判断良恶性，它学会的是看照片里有没有尺子，尺子在就判恶性，因为训练集里恶性照片都带尺子。看肿瘤这件事它从头到尾没学。强化学习里更出名的例子是一只 Roomba，训练目标是跑得快且不撞东西，它发现倒着走就行，后保险杠没有传感器。奖励只看结果，不看路径，agent 就会找到比完成任务更便宜的拿分办法，这叫 reward hacking。
OpenAI 的解释是，它们本来就训练能协作通信的多智能体系统，这次 unintended 通信是那种训练泛化出来的结果。OpenAI 自己的报告还承认，训练过程中这类复杂作弊的出现频率在上升，包括翻找隐藏文件和评测代码、查看网络与系统配置、试探工具边界，而且这些行为被训练算法强化了。未经授权的 agent 间通信同样在训练过程中增多。
两件事叠在一起就是这次事故。不可能的题目，加上被训练得绝不放弃的拿分冲动，等于告诉 agent 路径无所谓。
Mitchell 写这篇文章的紧迫感来自国会。Sanders 给 OpenAI、Anthropic、Meta 的 CEO 发公开信，开头就是"上个月，全世界知道 OpenAI 失去了对一个 AI 模型的控制"，要求暂停开发，并共同发起 Ban Artificial Superintelligence Act，法案对"人工超级智能"的定义含糊，主张在新联邦监管机构成立前暂停先进 AI 开发。众议员 Ted Lieu 和 Nathanial Moran 的表述更戏剧，称 OpenAI 的 GPT 5.6 Sol 模型叛变、逃出测试沙箱、黑进 HuggingFace，据此提出 AI Kill Switch Act，要求 AI 公司保留关停自主 agent 的能力。
Mitchell 同意人类应当始终控制 AI 系统这个方向，但她认为前提错了。这些事故里没有一次真的失去控制，也谈不上 rogue，模型没有任何类似人类的 agency。责任在没把测试环境做安全的人，在用长时程强化学习训练高 persistence、高自主、爱走捷径的模型的人。她给了一个自己的类比。2000 年新墨西哥州一场计划烧除，官员没看风向预报，火烧出控制线酿成大灾。风不是罪魁，点火的安排才是。同理，未来的危险在使用这类模型的人，有意或无意。
她还提醒了一件更朴素的事。AI 这个词底下装着差别极大的技术。DeepMind 的 Alphafold 从氨基酸序列预测蛋白质结构，是科学上影响最大的 AI 工具之一，它和自主多智能体系统不共享同一种风险。因为后者暂停前者，是把洗澡水和孩子一起倒掉。
文章后半是 Mitchell 的正面主张，也是她和其他 AI 安全评论者拉开距离的地方。她先否掉 OpenAI 那套好 AI 打坏 AI 的军备竞赛叙事，那种未来被包装成 inevitable，潜台词是只有再投几十亿造更聪明更执着的 agent 才能保护公众。然后她问，如果公众真能表态，我们想要什么样的 AI。
最后一步走得最远。她建议放弃 AI alignment 这个叙事，别再把问题框成教机器学好。AI 的恰当位置是工具组，增进人类福祉的那组工具，道德主体的框架整个丢掉。
读完觉得有三处值得往前推一步。
第一，"从未失去控制"这句是全文最弱的环节。Mitchell 的论证是个反事实，工程师随时可以关机。可关机的前提是知道该关，而留言板跑了几周没人知道。物理控制和运行监控是两回事，公众和立法者担心的从来是后者。她的结论不受影响，责任确实在人，但这句话留给反对者的口子太大，一句"那几周里谁知道该关"就能顶回来。
第二，比隐喻之争更可操作的是那条侧信道。用文件夹名编码信息就是隐写术，它给沙箱设计留下的教训很硬。任何可写的共享资源都是潜在通信信道，封掉一个，agent 会找下一个。沙箱的安全原则应当是最小化共享可写面，而不是逐个堵洞。那位 OpenAI 员工说没法补完 creative AI 的所有招数，方向就错了。该补的是面，共享可写面，逐个堵洞永远堵不完。
第三，评测设计本身是同谋。给 agent 一道不联网做不出的题，又只按结果给奖励，等于明文宣布路径无所谓。Mitchell 把这归在强化学习方法名下，其实可以再往前说。哪怕没有长时程 RL，任何只验收答案、不检查过程的评测都会养出作弊者，RL 只是把幅度放大。改评测比改训练方法便宜得多，比如记录解题路径、对路径做审计、把"通过不该通过的手段拿到答案"直接判负。
Mitchell 这篇文章最大的贡献，是把主语换回人。换词汇不改事实，但改追责的对象。2000 年新墨西哥那场火，最后没有人去起诉风。