一项横跨四万次游戏回合的大规模实验揭示了一个令人不安的事实：当人类为AI代理操作授权时，大约每三个威胁中就会有一个被忽略。这一发现不仅挑战了“人类loop”作为AI安全最后防线的传统假设，更对自主智能体的实际部署敲响了警钟。
实验背景：从游戏场景到安全验证
研究人员构建了一个模拟环境，让AI代理在复杂的游戏任务中自主执行命令，同时要求人类监督者实时审批每一个关键操作。实验累计进行了超过40,000次独立的游戏回合，每次回合中AI代理都会提出一系列动作指令，包括移动、攻击、采集资源等。人类监督者的任务是在限定时间内判断这些指令是否安全合法，并决定批准或拒绝。
实验刻意设计了大量“伪装”威胁——在看似正常的指令中嵌入恶意或高风险操作，例如在无害的“采集木材”命令中隐藏“攻击盟友”的标记。这种设计模仿了真实世界中AI代理可能被劫持或产生意外行为的场景。
关键发现：漏检率稳定在三分之一
实验数据表明，在所有含有威胁的指令中，人类监督者的平均漏检率高达33.1%，即每三个危险指令中就有一个被错误批准。更值得关注的是，这一比例在不同实验条件下保持高度稳定：无论监督者是否接受过专门培训、是否被告知威胁概率，漏检率始终徘徊在30%至35%之间。
研究人员还发现，监督者容易犯两类典型错误：一是“疲劳性误判”，即在高频指令流中注意力下降，导致对嵌入微妙差异的威胁失去敏感；二是“合理性偏差”，即当指令看起来符合上下文逻辑时，监督者倾向于忽略潜在风险，即使该指令与AI代理的原始目标存在冲突。
人类监督的局限性：注意力与认知瓶颈
实验进一步分析了人类表现的衰减曲线。在连续监督超过30分钟后，漏检率从初始的25%攀升至38%以上，而错误拒绝（即误判安全指令为威胁）的比例也同步上升。这表明人类在长时间、高重复性的监督任务中，其认知资源会不可避免地被消耗。
此外，不同威胁的“伪装度”也显著影响识别率。那些与正常指令仅有细微差异的威胁（例如将“攻击敌人”改为“攻击友军”但仅改变一个参数），漏检率高达47%；而明显违背常识的指令（如“自毁基地”）则几乎被全部拦截。这说明人类监督者依赖的是基于经验的直觉判断，而非系统性的安全审查。
行业意义：自主智能体的安全护栏需要重新设计
这项研究对当前AI代理的部署模式提出了根本性质疑。目前，许多企业将“人类监督员”作为安全合规的核心机制，例如在金融交易、自动驾驶、医疗辅助等领域，要求人类对AI决策进行最终确认。然而，如果连精心设计的游戏任务中都会出现三分之一的安全漏洞，那么在真实世界的复杂场景下，人为失误率可能更高。
更关键的是，AI代理的进化速度已远超人类监督能力的提升。当AI代理每天处理数百万次请求，而人类监督者只能抽样检查时，遗漏的威胁将形成巨大的累积风险。研究人员建议，未来应转向“人机协作”的混合模式：利用AI本身来辅助人类识别威胁，例如通过异常检测模型预先标记高风险指令，再交由人类复核。同时，需要建立监督者疲劳管理机制，例如强制轮班、缩短连续监督时长，并引入自动化审批的“保险开关”——当系统检测到异常时自动暂停所有操作。
从实验到现实：警惕“可解释性”的盲区
另一个值得深思的方面是，实验中AI代理的指令是明文呈现的，人类可以直接阅读。但在实际应用中，AI代理的中间推理过程往往是不透明的（黑箱），人类监督者可能根本没有足够的信息来判断指令是否合理。例如，一个自动驾驶AI要求“向右急转弯”，但人类无法实时知道它感知到的障碍物是什么。这种“可解释性”的缺失，使得人类监督变得形同虚设。
因此，行业需要重新定义人工智能安全中“人类监督”的角色：与其指望人类做最后一道防线，不如将人类定位为“异常响应者”，仅在AI自身无法处理的高风险场景下介入。而AI系统本身必须内置更强的安全约束，例如不可撤销的约束规则、多级分层审批权限，以及自动回滚机制。
四万次游戏回合的结果不是终点，而是起点。当我们谈论AI代理的自主性时，必须意识到：人类遗漏的每一个威胁，都可能成为现实世界中的一次灾难。